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PREFACE 


为 什么 要 写 这 本 书 

为 什么 写 ( 曝 光 : Linux 企业 运 维 实战 ) 这 本 书 ? 这 要 从 我 的 经 历 说 起 。 我 出 生 在 贵州 
省 一 个 贫困 的 小 山村 ,从 小 经 历 了 山里 砍 此 、` 放 和 牛 、 挑 水 做 饭 .日 出 而 作 、 日 落 而 归 的 朴素 生 
ifi ,看 到 父母 一 辈子 都 在 小 山村 里 ,没有 见 过 大 城市 ,所 以 从 小 立志 要 走出 大 山 ,要 让 父母 过 
上 幸福 的 生活 ! 

正 是 这 样 一 个 信念 让 我 不 断 地 努力 ,大 学 毕业 至 今 ,在 “ 北 漂 * 的 IT 运 维 路 上 走 过 
Y 9 年 多 ,从 最 初 小 公司 的 网 管 到 国企 机 关 、 图 吧 、 研 修 网 、 京 东 商 城 等 一 线 IT 企业 ， 
分 别 担任 过 Linux 运 维 工程 师 、Linux 运 维 架构 师 、 运 维 经 理 , 到 今天 创办 了 京 峰 教育 
培训 机 构 。 

这 一 路 走 来 ,要 感谢 生命 中 遇 到 的 每 一 个 人 ,是 大 家 的 帮助 ,让 我 不 断 地 进步 和 成 长 ,也 
让 我 明白 了 一 个 人 活着 不 应 该 只 为 自己 和 自己 的 家 人 ,而 是 要 为 这 个 社会 ,哪怕 只 能 对 社会 
贡献 一 点 点 的 价值 ,人 生 就 是 精彩 的 。 为 了 帮助 更 多 的 人 通过 技术 改变 自己 的 命运 ,我 决定 
编写 (曝光 : Linux 企业 运 维 实战 》 这 本 书 。 虽 然 市 面 上 有 很 多 关于 Linux 的 书籍 ,但 是 很 
难 找到 一 本 关于 Linux 企业 生产 环境 、 企 业 自动 化 运 维 ` 云 计算 、 虚 拟 化 等 主流 技术 的 书籍 ， 
这 是 我 编写 本 书 的 初衷 ! 


本 书 读者 对 象 

系统 管理 员 、 网 络 管理 员 、 在 校 大 学 生 、Linux jë A T. Belli, Linux 系统 管理 人 员 及 从 事 
云 计算 、 网 站 开发 .测试 .设计 的 人 员 o 

如 何 阅读 本 书 

全 书 分 为 三 篇 ,第 一 篇 : Linux 基础 篇 ,包括 第 1—8 章 , 主要 内 容 为 Linux 快速 入 门 、 
Linux 发 展 及 系统 安装 CentOS 系统 管理 .Linux 必 备 命令 .Linux HP? BUB £938 , Linux 
软件 包 企业 实战 `Linux 磁盘 管理 、Linux 文件 服务 器 企业 实战 。 俗 话说 “看 百 遍 不 如 跟着 
书 操作 一 遍 ”, 所 以 笔者 建议 读者 在 阅读 本 书 时 应 根据 本 书 中 的 提示 和 各 种 操作 案例 ,使 用 
真实 服务 器 或 者 虚拟 机 实战 练习 ,这 样 可 以 更 好 地 理解 每 条 命令 及 涉及 的 各 个 步骤 ,从 而 更 
加 高 效 地 学 习 , 把 基础 打 牢 。 
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第 二 篇 : Linux 进 阶 篇 ,包括 第 9 一 14 章 , 主 要 内 容 为 HTTP 协议 详解 .Apache Web JR 
务 器 企业 实战 .MySQL 服务 器 企业 实战 .LAMP 企业 架构 实战 .Zabbix 分 布 式 监控 企业 实 
WR Nginx Web 服务 器 企业 实战 。 

第 三 篇 : Linux 高 级 篇 ,包括 第 15 一 25 章 ,主要 内 容 为 Linux 性 能 优化 企业 实战 ,大 数 
据 量 备份 企业 实战 .shell 企业 编程 基础 .shell 编程 高 级 企业 实战 .自动 化 运 维 发 展 前 景 、 
Puppet 自动 运 维 企业 实战 、Ansible 自动 运 维 企业 实战 ,Jenkins 持续 集成 企业 实战 、Linux 
高 可 用 集群 实战 .实战 Docker 虚拟 化 技术 、Openstack 十 KVM 构建 企业 私有 云 。 


勘误 和 支持 


尽管 笔者 花费 了 大 量 的 时 间 和 精力 来 核对 书 中 的 各 个 代码 和 语法 ,但 其 中 难免 还 会 存 
在 一 些 丝 漏 ,恳请 读者 指正 和 批评 。 如 果 大 家 发 现 有 任何 问题 ,都 请 及 时 反馈 给 我 ,相关 信 
息 可 以 发 到 个 人 邮箱 wgkgood@ 163. com. 也 可 以 加 入 本 书 支 持 QQ HF (432241666, 
418600627) ,我 会 竭尽 全 力 为 读者 服务 。 

致谢 

感谢 Linux Z 4t —— Linus Torvalds, Linus Torvalds 不 仅 创造 了 Linux 系统 ,而 且 影 
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感谢 腾讯 公司 腾讯 课堂 周 唯 经 理 及 平台 所 有 的 老师 ,感谢 乐 博学 院 CEO 机 云龙 及 乐 博 
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第 一 篇 Linux 基础 篇 


Linux 基础 篇 总 共 包 含 8 个 章节 ,第 1 一 8 章 学 习 内 容 分 别 为 Linux 快速 入 
11 Linux RRR AREER CentOS AAR R _ Linux 必 备 命令 .Linux 用 户 及 权 
RE, Linux 软件 包 企 业 实战 .Linux BA SH Linux 文件 服务 器 企业 实战 。 

读者 通过 对 基础 篇 8 个 章节 的 深入 学 习 , 可 以 了 解 Linux 发 展 历程 , 了解 
Linux 发 行 版 之 间 的 特性 以 及 Linux 内 核 命名 规范 ,基于 虚拟 机 环境 手动 安装 
的 CentOS 操作 系统 ,能 够 快速 上 手 , 快 速 地 入 门 Linux。 

同时 读者 能 够 熟练 掌握 Linux 操作 系统 完整 的 启动 流程 ,掌握 Linux 操作 
系统 用 户 和 组 管理 的 机 制 ,通过 对 Linux 系统 文件 及 目录 进行 权限 定制 和 分 配 ， 
从 而 提升 Linux 操作 系统 的 使 用 安全 ,更 加 保证 系统 的 稳定 性 。 

对 Linux 必 备 命令 的 掌握 程度 ,直接 决定 后 期 对 Linux 系统 能 否 进行 娴熟 
的 操作 ,同时 掌握 Linux 高 效 学 习 的 大 绝招 , 养 成 学 习 Linux 的 习惯 和 方法 ,对 
后 期 的 Linux 学 习 能 起 到 事半功倍 的 效果 。 

俗话 说 “基础 不 牢 ,地 动 山 摇 ”, 熟 练 掌握 Linux 基础 篇 的 相关 内 容 , 能 够 独 
立 维护 和 管理 企业 Linux 操作 系统 ,为 后 期 维护 企业 生产 环境 服务 器 打下 坚实 
的 基础 。 


; Linux (Rik ATI 








Linux 是 一 套 免费 使 用 和 自由 传播 的 类 UNIX 操作 系统 ,是 一 个 基于 POSIX 移植 操作 
系统 接口 (portable operating system interface of UNIX,POSIX) 和 UNIX 的 多 用 户 、 多 任 
务 、 支 持 多 线程 和 多 CPU 的 操作 系统 。 

目前 被 广泛 应 用 于 企业 服务 器 、Web 网 站 平台 、 大 数据 .虚拟 化 .Android、 超 级 计算 机 
等 领域 ,未 来 Linux 将 应 用 于 各 行 各 业 , 如 云 计算 、 物 联网 ,人工 智能 等 。 

本 章 将 向 读者 介绍 Linux 发 展 简介 、Linux 发 行 版 特点 、32 位 及 64 位 CPU 特性 以 及 
Linux 内 核 命名 规则 等 内 容 。 


1.1 为 什么 要 学 习 Linux 


我 们 为 什么 要 学 习 Linux? 我 们 目前 的 处 境 是 什么 ? 我 们 想 达到 什么 样 的 目标 ? 在 谈 
到 这 三 个 问题 时 ,相信 每 个 人 都 有 自己 的 答案 ,我 们 来 自 不 同 的 家 庭 ,各 自 经 历 也 都 不 一 样 ， 
但 最 终 的 目标 都 是 希望 通过 学 习 技 术 ,提升 自己 的 专业 技能 ,真正 做 一 个 对 社会 有 贡献 
的 人 。 

想 想 我 们 从 刚 步 入 学 堂 的 那 一 刻 起 ,心里 就 狠 狠 下 定 决 心 ,以 后 不 管 做 什么 ,都 要 有 一 
番 出 息 。 可 是 二 三 十 年 过 去 了 ,我 们 收获 了 什么 ,得 到 了 什么 ,到 底 是 在 追求 什么 ? 方向 又 
在 哪里 呢 ? 

在 生活 中 各 种 挫折 、 感 情 以 及 很 多 零碎 的 事情 ,让 我 们 很 难 静 下 心 来 学 习 , 当 我 们 某 天 
突然 惊醒 ,年 少 已 不 在 。 所 以 今天 就 下 定 决 
心 , 现 在 就 要 学 习 , 去 行动 ,去 改变 。 

人 生 最 可 怕 的 是 在 自 以 为 舒适 的 地 方 待 
得 太 久 ,等 到 外 界 改 变 来 的 时 候 , 已 经 晚 了 ,我 
们 不 能 像 温水 者 青蛙 一 样 , 待 在 温水 里 ,觉察 
不 到 周围 事物 的 变化 ,最 终 被 社会 淘汰 .如 
图 1-1 所 示 。 








Eri 温水 者 青蛙 
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1.2 Linux 操作 系统 简介 


Linux 操作 系统 是 基于 UNIX 以 网 络 为 核心 的 设计 思想 ,是 一 个 性 能 稳定 的 多 用 户 网 
络 操作 系统 ,Linux 能 运行 各 种 工具 软件 、 应 用 程序 以 及 网 络 协议 , 它 支 持 安装 在 32 位 和 
64 位 CPU 硬件 上 。 

通常 来 讲 ,Linux 这 个 词 本 身 只 表示 Linux 内 核 ,但 是 人 们 已 经 习惯 用 Linux 来 形容 整 
个 基于 Linux 内 核 的 操作 系统 ,并 且 是 一 种 使 用 GNU 通用 公共 许可 证 (GNU general 
public license,GPL) 工 程 各 种 工具 和 数据 库 的 操作 系统 。 

GNU 是 GNU is not UNIX 的 缩写 , UNIX 是 一 种 广泛 应 用 的 商业 操作 系统 ,由 于 
GNU 将 要 实现 以 UNIX 系统 的 接口 标准 ,因此 GNU 计划 可 以 分 别 开 发 不 同 的 操作 系统 部 
件 , 并 且 采 用 了 部 分 当时 已 经 可 自由 使 用 的 软件 。 

为 了 保证 GNU 软件 可 以 自由 地 使 用 、 复 制 , 修 改 和 发 布 ,所 有 的 GNU 软件 都 在 一 份 禁 
止 其 他 人 添加 任何 限制 的 情况 下 授权 所 有 权利 给 任何 人 的 协议 条 款 里 ,我 们 把 这 个 条 款 称 
为 GPL。 

1991 年 的 10 月 5 日 ,Linux 创始 人 Linus Torvalds 在 comp. os. minix 新 闻 组 上 发 布 消 
息 , 正 式 向 外 宣布 Linux 内 核 的 诞生 ,1994 年 3 月 Linux 1.0 发 布 ,代码 量 17 万 行 ,当时 是 
完全 按照 自由 免费 的 协议 发 布 ,随后 正式 采用 GPL 协议 ,目前 GPL 协议 版 本 包括 GPLv1、 
GPLv2,GPLv3 以 及 未 来 的 GPLv4 .GPLv5 等 。 


1.3 Linux 操作 系统 优点 


随 着 IT 产业 的 不 断 发 展 ,Linux 操作 系统 应 用 领域 越 来 越 广泛 ,尤其 是 近年 来 Linux 
在 服务 器 领域 飞速 地 发 展 ,这 主要 得 益 于 Linux 操作 系统 具备 以 下 优点 : 
a 开源 免费 ; 
系统 迭代 更 新 ; 
安全 性 高 ; 
多 任务 ,多 用 户 ; 
耗资 源 少 ; 
内 核 小 ; 
应 用 领域 广泛 ; 
a 使 用 及 入 门 容易 。 
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1.4 Linux 操作 系统 发 行 版 


学 习 Linux 操作 系统 ,需要 选择 不 同 的 发 行 版 本 ,Linux 操作 系统 发 行 版 本 众多 ,目前 
Linux 操作 系统 主流 发 行 版 本 包括 Red Hat Linux, CentOS, Ubuntu, SUSE Linux, Fedora 
Linux 等 ,具体 发 行 版 本 之 间 的 区 别 如 下 。 

1. Red Hat Linux 

Red Hat Linux 是 最 早 的 Linux 发 行 版 本 之 一 ,同时 也 是 最 著名 的 Linux 版 本 , Red 
Hat Linux 已 经 创造 了 自己 的 品牌 ,也 就 是 读者 经 常 听 到 的 “ 红 帽 操作 系统 ”。Red Hat F 
1994 年 创立 ,目前 该 公司 在 全 世界 有 3000 多 人 ,一 直 致 力 于 研发 开放 的 源 代码 体系 ,向 用 
户 提供 一 套 完整 的 服务 ,这 使 得 它 特别 适合 在 公共 网 络 中 使 用 。 这 个 版 本 的 Linux 也 使 用 
最 新 的 内 核 ,同时 还 拥有 大 多 数 人 都 需要 使 用 的 主体 软件 包 。 

Red Hat Linux 发 行 版 操作 系统 的 安装 过 程 非常 简单 ,图 形 安装 过 程 提供 简易 设置 服 
务 器 的 全 部 信息 ,磁盘 分 区 过 程 可 以 自动 完成 ,还 可 以 通过 图 形 界面 (graphical user 
interface, GUD ERER HEX F Linux 新 手 来 说 这 些 过 程 都 非常 简单 。 后 期 如 果 想 批 
量 安装 Red Hat Linux 系统 ,可 以 通过 批量 的 工具 来 实现 快速 安装 。 

2. CentOS 

社区 企业 版 操作 系统 (community enterprise operating system. CentOS) $Æ Linux 发 行 
版 之 一 , 它 是 来 自 于 Red Hat Enterprise Linux 依照 开放 源 代码 编译 而 成 的 。 由 于 出 自 同 
样 的 源 代码 , 因此 有 些 要 求 高 度 稳定 性 的 服务 器 以 CentOS 替代 商业 版 的 Red Hat 
Enterprise Linux 使 用 。 

CentOS 与 Red Hat Linux 不 同 之 处 在 于 CentOS 并 不 包含 封闭 的 源 代码 软件 ,可 以 开 
源 免费 使 用 ,这 使 得 它 得 到 运 维 人 员 、 企 业 、 程 序 员 的 青睐 。CentOS 发 行 版 操作 系统 是 目 
前 企业 使 用 最 多 的 服务 器 领域 的 系统 之 一 ,2016 年 12 H 12 日 ,基于 Red Hat Enterprise 
Linux 的 CentOS Linux 7 (1611) 系 统 正式 对 外 发 布 。 

3. Ubuntu 

Ubuntu 是 一 个 以 桌面 应 用 为 主 的 Linux 操作 系统 ,其 名 称 来 自 非 洲 南部 祖 鲁 语 或 豪 
萨 语 的 “ubuntu” 一 词 ( 译 为 至 帮 托 或 乌 班 图 ), 意 思 是 * 人 性 ”“ 我 的 存在 是 因为 大 家 的 存 
在 ”, 代 表 非 洲 传统 的 一 种 价值 观 。 

Ubuntu 基于 Debian 发 行 版 和 GNOME 桌面 环境 ,Ubuntu 发 行 版 操作 系统 的 目标 在 
于 为 用 户 提 供 一 个 最 新 的 ,同时 稳定 地 以 开放 自由 软件 构建 而 成 的 操作 系统 ,目前 Ubuntu 
具有 庞大 的 社区 力量 ,用 户 可 以 很 方便 地 从 社区 获得 帮助 。 

4. SUSE Linux 

SUSE( 发 音 //su: sa/) 是 指 SUSE Linux. 是 德国 SuSE Linux AG Z 
Linux 发 行 版 ,是 属于 此 公司 的 注册 商标 。2003 4E 11 月 4 日 ,Novell 公 
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SUSE 提出 收购 ,收购 的 工作 于 2004 年 1 月 已 完成 。 

Novell 公司 也 向 大 家 保证 SUSE 的 开发 工作 仍 会 继续 下 去 ,Novell 更 把 公司 内 全 线 电 
脑 的 系统 换 成 SUSE Linux, 并 同时 表示 将 会 把 SUSE 特有 而 优秀 的 系统 管理 程序 - YaST2 
以 GPL 授权 释 出 。 

5. Fedora Linux 

Fedora 是 一 个 知名 的 Linux 发 行 版 ,是 一 款 由 全 球 社区 爱好 者 构建 的 、 面 向 日 常 应 用 
的 ,快速 稳定、 强大 的 操作 系统 。 它 允许 任何 人 自由 地 使 用 、 修 改 和 重 发 布 ,无 论 现在 还 是 
将 来 。 它 由 一 个 强大 的 社 群 开发 ,这 个 社 群 的 成 员 以 自己 的 不 懈 努 力 ,提供 并 维护 自由 、 开 
放 源码 的 软件 和 开放 的 标准 。 

Fedora 约 每 6 个 月 会 发 布 新 版 本 ,美国 当地 时 间 2015 年 11 月 3 日 ,北京 时 间 2015 年 
11 月 4 日 ,Fedora Project 宣布 Fedora 23 正式 对 外 发 布 ,2017 # 6 月 发 布 了 Fedora 26 版 本 。 


1.5 32 位 与 64 位 操作 系统 的 区 别 


学 习 Linux 操作 系统 之 前 ,需要 掌握 计算 机 基础 知识 。 计 算 机 内 部 对 数据 的 传输 和 储 
存 都 是 使 用 二 进 制 , 二 进 制 是 计算 技术 中 广泛 采用 的 一 种 数 制 ,而 b( 位 ) 则 表示 二 进 制 位 ， 
二 进 制 数 是 用 0 和 1 两 个 数码 来 表示 的 数 。 基 数 为 2, 进位 规则 是 “ 首 二 进 一 ”,0 或 1 分 别 
表示 1 位 二 进 制 数 。 

b( 位 ) 是 计算 机 最 小 单位 ,而 B( 字 节 ) 是 计算 机 中 数据 处 理 的 基本 单位 ,转换 关系 为 
1B= 8b,4B= 32b。 

随 着 计算 机 技术 的 发 展 ,尤其 是 中 央 处 理 器 (central processing unit. CPU) 技 术 的 变 
JR ,CPU 的 位 数 指 的 是 通用 寄存 器 (general-purpose registers,GPRs) 的 数据 宽度 ,也 就 是 
处 理 器 一 次 可 以 处 理 的 数据 量 多 少 。 

主流 CPU 处 理 器 分 为 32 位 CPU 处 理 器 和 64 位 CPU 处 理 器 ,32 位 CPU 处 理 器 可 以 
一 次 性 处 理 4 个 字 节 的 数据 量 。 而 64 位 处 理 器 一 次 性 处 理 8 个 字 节 的 数据 量 (1B= 8b)， 
64 位 CPU 处 理 器 对 计算 机 处 理 器 在 RAM( 随 机 存 取 储存 器 ) 里 处 理 信息 的 效率 比 在 32 位 
CPU 里 做 了 很 多 优化 ,效率 更 高 。 

x86 32 位 操作 系统 和 x86_64 操作 系统 的 区 别 也 是 基于 CPU 位 数 的 支持 ,具体 区 别 如 下 : 
32 位 操作 系统 表示 32 位 CPU 对 内 存 寻 址 的 能 力 ; 
64 位 操作 系统 表示 64 位 CPU 对 内 存 寻 址 的 能 力 ; 
32 位 的 操作 系统 安装 在 32 位 CPU 处 理 器 和 64 位 CPU 处 理 器 上 ; 
64 位 操作 系统 只 能 安装 在 64 位 CPU 处 理 器 上 ; 
32 位 操作 系统 对 内 存 寻 址 不 能 超过 4GB; 
64 位 操作 系统 对 内 存 寻 址 可 以 超过 4GB. 企 业 服 务 器 更 多 安装 64 位 操作 系统 ,支持 
更 多 内 存 资 源 的 利用 ; 
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a 64 位 操作 系统 是 为 高 性 能 处 理 需求 设计 ,满足 数据 处 理 、 图 片 处 理 、 实 时 计算 等 领域 





a 32 位 操作 系统 是 为 普通 用 户 设计 ,满足 普通 办 公 、 上 网 冲浪 等 需求 。 
1.6 Linux 内 核 命名 规则 


Linux 内 核 是 Linux 操 统 的 核心 ,一 个 完整 的 Linux 发 行 版 包括 进程 管理 ,内 存 管 
理 文 件 系统 .系统 管理 .网 络 管理 等 部 分 。 

Linux 内 核 官 网 可 以 下 载 Linux 内 核 版 本 、 现 行 版 本 、 历 史 版 本 ,可 以 了 解 版 本 与 版 本 
之 间 的 特性 。 

Linux 内 核 版 本 命名 在 不 同 的 时 期 有 不 同 的 命名 规范 ,其 中 在 2. X 版 本 中 ,X 如 果 为 奇 
数 表示 开 发 版 .X 如 果 为 偶数 表示 稳定 版 ,从 2. 6.X 以 及 3.X, 内 核 版 本 命名 就 没有 严格 的 
约定 规范 。 

从 Linux 内 核 1994 年 发 布 1.0 版 本 到 目前 主流 的 2.6、3.X 版 本 ,4.X 属于 开发 调试 阶 
段 , 查 看 Linux 操作 系统 内 核 如 图 1-2 所 示 。 








图 1-2 操作 系统 内 核 


Linux 内 核 命名 格式 为 *R. X. Y-Z”, 其 中 R、X、Y、Z 命 名 含义 如 下 : 
a 数字 R 表示 内 核 版 本 号 ,版 本 号 只 有 在 代码 和 内 核 有 重大 改变 的 时 候 才 会 改变 ,到 
目前 为 止 有 4 个 大 版 本 更 新 
a 数字 XX 表示 内 核 主 版 本 号 , 主 版 本 号 根据 传统 的 奇偶 系统 版 本 编号 来 分 配 , 奇 数 为 
开发 版 ,偶数 为 稳定 版 
a 数字 Y 表示 内 核 次 版 本 号 ,次 版 本 号 是 无 论 在 内 核 增加 安全 补丁 \ 修 复 bug、 实 现 新 
的 特性 或 者 驱动 时 都 会 改变 
a 数字 Z 表 示 内 核 小 版 本 号 ,小 版 本 号 会 随 着 内 核 功 能 的 修改 、bug 修复 而 发 生变 化 。 
官网 内 核 版 本 如 图 1-3 所 示 ,mainline 表示 主线 开发 版 本 ,stable 表示 稳定 版 本 ,稳定 版 
本 主要 由 mainline 测试 通过 而 发 布 。longterm 表示 长 期 支持 版 ,会 持续 更 新 及 bug BR. 
如 果 长 期 版 本 被 标记 为 EOL (end of life) , 则 表示 不 再 提供 更 新 。 
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Protocol Location 

HTTP. https.//www.kerneLorg/pub/ 

GIT hups://git.kerneLorg/ 

RSYNC rsync://rsync.kemeLorg/pub/ 
mainline: 41Hrc7 201-046 [tarxz] [pgp] [patch] [view diff] 
stable: — 41002 2007-04-21 [tarxz] [pgp] [patch] [inc. patch] [view diff] 
longterm: 4.9.24 2017-04-21 [tarxz] [pgp] [patch] [inc patch] [view diff] 
longterm: 4.4.63 2017-04-21 [tarxz] [pgp] [patch] [inc patch] [view diff] 
longterm: 4139 2017-0313 [tarxz] [pgp] [patch] [inc patch] [view diff] 
longterm: 3.18.49 [EOL] 2017-04-18 [tarxz] [pap] [patch] [inc patch} [view diff] 
longterm: 31643 2017-04-04 [tarxz] [pgp] [patch] (inc. patch] [view diff] 
longterm: 3.12.73 2017-04-13 [tar.xz] [pgp] [patch] [inc patch] [view diff] 
longterm: 3.10.105 2017-02-10 [tarxz] [pap] [patch] [inc patch] [view diff] 


图 1-3 官网 内 核 版 本 
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互联 网 飞速 发 展 ,用 户 对 网 站 体验 的 要 求 也 越 来 越 高 ,目前 主流 Web 网 站 后 端 承载 系 
统 均 为 Linux 操作 系统 ,Android 手机 也 是 基于 Linux 内 核 而 研发 的 ,企业 大 数据 \ 云 存储 、 
虚拟 化 等 先进 技术 也 均 是 以 Linux 操作 系统 为 载体 ,以 满足 企业 的 高 速 发 展 。 

本 章 向 读者 介绍 Linux 发 展 前 景 、Windows 与 Linux 操作 系统 区 别 、 硬 盘 分 区 介绍 、 
CentOS 7 Linux 操作 系统 安装 图 解 以 及 菜鸟 学 好 Linux 必 备 大 绝招 等 内 容 。 


2.1 Linux 发 展 前 景 及 就 业 形 势 


据 权 威 部 门 统计 ,未 来 几 年 内 我 国 软件 行业 的 从 业 机 会 十 分 庞大 ,中 国 每 年 对 IT 软件 
人 才 的 需求 将 达到 200 万 人 左右 。 而 Linux 专业 人 才 的 就 业 前 景 更 是 广阔 ,据悉 在 未 来 
5 一 10 年 内 Linux 专业 人 才 的 需求 将 达到 150 万 人 ,尤其 是 对 于 有 Linux 行业 经 验 的 人 才 ， 
资深 的 Linux 工程 师 非常 缺乏 .薪资 也 非常 诱 人 ,平均 月 薪 15000 ~ 25000 元 ,甚至 更 高 ， 
Linux 行业 薪资 如 图 2-1 所 示 。 





10K-15K 6K-8K 45K-6K gm 7.2% 

(23.6%) (24.4%) 
KSK GHE 2009 
8K-10K 14.4% 
10K-15K GEED 23.6% 
15K-20K m 8.2% 
20K-30K EMEB 154% 
30K-50K @ 6% 


图 2-1 Linux fp MI HVE 
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2.2 Windows 操作 系统 简介 


为 什么 要 学 习 Windows 操作 系统 ?了 解 Windows 系统 结构 ,可 以 让 读者 快速 学 习 
Linux 操作 系统 ,通过 对 比 学 习 的 方法 ,可 以 更 快 地 学 会 Linux, 

计算 机 硬件 组 成 包括 CPU 内存、 网 卡 、 硬 盘 `DVD 光驱 .电源 .主板 显示器、 鼠标 等 设 
# ,计算机 硬件 是 不 能 直接 被 用 户 使 用 的 ,需要 安装 操作 系统 和 驱动 程序 , 才 可 进行 操作 、 办 
公 、 上 网 冲浪 等 。 

驱动 程序 主要 指 的 是 设备 驱动 程序 (device driver) ,是 一 种 可 以 使 计算 机 系统 和 设备 通 
信 的 特殊 程序 ,相当 于 硬件 的 接口 ,操作 系统 只 有 通过 这 个 接口 ,才能 控制 硬件 设备 ,进行 资 
源 调度 。 

Windows 操作 系统 主要 以 窗口 形式 对 用 户 展示 ,操作 系统 须 安 装 在 硬盘 上 ,安装 系统 
之 前 需 对 硬盘 进行 分 区 并 格式 化 ,默认 Windows 操作 系统 安装 在 C 盘 分 区 ,D 盘 分 区 用 于 
存放 数据 文件 。 

通俗 地 讲 ,安装 操作 系统 时 ,需要 对 磁盘 进行 格式 化 ,格式 化 需要 指定 格式 化 的 类 型 , 告 
诉 操作 系统 如 何 去 管 理 磁盘 空间 ,文件 如 何 存放 ,如 何 查找 及 调度 。 操 作 系 统 不 知道 怎么 存 
放 文 件 以 及 文件 结构 ,因此 文件 系统 的 概念 就 诞生 了 。 

文件 系统 是 操作 系统 用 于 明确 磁盘 或 分 区 上 文件 的 方法 和 数据 存储 结构 ,文件 系统 由 
3 部 分 组 成 : 与 文件 管理 有 关 软 件 、 被 管理 文件 以 及 实施 文件 管理 所 需 数据 结构 。 

Windows 操作 系统 的 文件 系统 类 型 一 般 有 FAT、FAT16、FAT32、NTFS 等 ,不 同 的 文 
件 系统 类 型 有 不 同 的 特性 。 例 如 NTFS 文件 系统 类 型 支持 文件 及 文件 夹 安全 设置 , 而 
FAT32 文件 系统 类 型 不 支持 ,NTFS 支持 单 文件 最 多 为 单个 磁盘 分 区 的 容量 大 小 2TB, 而 
FAT32 单个 最 大 文件 容量 不 能 超过 4GB。 

Windows 操作 系统 从 设计 层面 来 讲 . 主 要 用 来 管理 电脑 硬件 与 软件 资源 的 程序 ,大 致 
包括 5 个 方面 的 管理 功能 :进程 与 处 理 机 管理 .作业 管理 ,存储 管理 .设备 管理 文件 管理 。 
Windows 操作 系统 从 个 人 使 用 角度 来 讲 , 主 要 用 于 个 人 电脑 办 公 、 软 件 安装 、 上 网 冲浪 、 游 
戏 ,数据 分 析 ,数据 存储 等 。 


2.3 硬盘 分 区 简介 


学 习 Windows,Linux 操作 系统 ,需要 了 解 硬盘 设备 ,硬盘 是 电脑 主要 的 存储 媒介 之 一 ， 
硬盘 要 能 够 安装 系统 或 者 存放 数据 ,必须 进行 分 区 和 格式 化 , Windows 系统 常见 分 区 有 3 
种 : 主 磁盘 分 区 .扩展 磁盘 分 区 、 逻 辑 磁盘 分 区 。 

一 块 硬盘 设备 , 主 分 区 至 少 有 1 个 ,最 多 4 个 ,扩展 分 区 可 以 为 0, 最 多 1 个 , 且 主 分 区 
和 扩展 分 区 总 数 不 能 超过 4 个 ,逻辑 分 区 可 以 有 若干 个 。 在 Windows 下 激活 的 主 分 区 是 硬 
盘 的 启动 分 区 , 它 是 独立 的 ,也 是 硬盘 的 第 一 个 分 区 ,通常 就 是 我 们 所 说 的 C 盘 系 统 分 
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扩展 分 区 是 不 能 直接 用 的 , 它 是 以 逻辑 分 区 的 方式 来 使 用 的 ,扩展 分 区 可 分 成 若干 逻辑 
分 区 。 它 们 的 关系 是 包含 关系 ,所 有 的 逻辑 分 区 都 是 扩展 分 区 的 一 部 分 。 

在 Windows 系统 安装 时 ,硬盘 驱动 器 是 通过 磁盘 0、 磁 盘 1 来 显示 ,其 中 磁盘 0 表示 第 
一 块 硬盘 ,磁盘 1 表示 第 二 块 硬盘 ,然后 在 第 一 块 硬盘 磁盘 0 上 进行 分 区 ,最 多 不 能 超过 4 
个 主 分 区 ,分 区 为 C.D.E、。 

硬盘 接口 是 硬盘 与 主机 系统 间 的 连接 部 件 ,作用 是 在 硬盘 缓存 和 主机 内 存 之 间 传输 数 
据 。 不 同 的 硬盘 接口 决定 着 硬盘 与 计算 机 之 间 的 连接 速度 ,在 整个 系统 中 ,硬盘 接口 的 优 劣 
直接 影响 着 程序 运行 快慢 和 系统 性 能 好 坏 ,常见 的 硬盘 接口 类 型 为 IDE (integrated drive 
electronics) , SATA (serial advanced technology attachment) , SCSI( small computer system 
interface) , SAS(serial attached SCSD 和 光纤 通道 等 。 

IDE 接口 硬盘 多 用 于 家 用 ,部 分 也 应 用 于 传统 服务 器 ,SCSI、SAS 接口 的 硬盘 则 主要 应 
用 于 服务 器 市 场 ,而 光纤 通道 主要 用 于 高 端 服务 器 上 ,SATA 主要 用 于 个 人 家 庭 办 公 电 脑 
及 低 端 服务 器 。 

在 Linux 操作 系统 中 ,读者 可 以 看 到 硬盘 驱动 器 的 第 一 块 IDE 硬盘 接口 的 硬盘 设备 为 
hda, SATA 硬盘 接口 的 硬盘 设备 为 sda, 主 分 区 编号 为 hdal-4 或 者 sdal-4. 32 HEAT IX A 5 JF 
始 。 如 果 有 第 二 块 硬盘 , 主 分 区 编号 为 hdb1-4 或 者 sdbl-4, 

不 管 是 Windows 还 是 Linux 操作 系统 ,硬盘 的 总 容量 三 主 分 区 的 容量 十 扩展 分 区 的 容 
量 , 而 扩展 分 区 的 容量 = 各 个 逻辑 分 区 的 容量 之 和 。 主 分 区 也 可 成 为 引导 分 区 ,会 被 操作 系统 
和 主板 认定 为 这 个 硬盘 的 第 一 个 分 区 ,所 以 C 盘 永 远 都 是 排 在 所 有 磁盘 分 区 的 第 一 的 位 置 上 。 

MBR (master boot record) ffl GPT(GUID partition table) 是 在 磁盘 上 存储 分 区 信息 的 
两 种 不 同方 式 。 这 些 分 区 信息 包含 了 分 区 从 哪里 开始 的 信息 ,这 样 操作 系统 才 知 道 哪个 扇 
区 是 属于 哪个 分 区 ,以 及 哪个 分 区 是 可 以 用 来 启动 操作 系统 的 。 

在 磁盘 上 创建 分 区 时 ,必须 选择 MBR 或 者 GPT, 默 认 是 MBR ,也 可 以 通过 其 他 方式 修 
改 为 GPT 方式 。MBR 分 区 的 硬盘 最 多 支持 4 个 主 分 区 ,如 果 想 支持 更 多 主 分 区 ,可 以 考虑 
使 用 GPT 格式 分 区 。 


2.4 Linux 安装 环境 准备 


要 学 好 Linux 这 门 技 术 , 首 先 需 安装 Linux 操作 系统 ,Linux 操作 系统 安装 是 每 个 初学 
者 的 门槛 。 而 安装 Linux 操作 系统 ,最 大 的 困惑 莫 过 于 给 操作 系统 进行 磁盘 分 区 。 
虽然 目前 各 种 发 行 版 本 的 Linux 已 经 提供 了 友好 的 图 形 交 互 界面 ,但 很 多 初学 者 还 是 
感觉 无 从 下 手 , 其 原因 主要 是 不 清楚 Linux 的 分 区 规定 。 
Linux 系统 安装 中 规定 ,同样 每 块 硬盘 设备 最 多 只 能 分 4 个 主 分 区 (其 中 包含 扩展 分 
区 ) 构 成 ,任何 一 个 扩展 分 区 都 要 占用 一 个 主 分 区 号 码 , 也 就 是 在 一 个 硬盘 中 , 主 分 区 和 扩展 
区 一 共 最 多 是 4 个 。 
为 了 让 读者 能 将 本 书 所 有 Linux 技术 应 用 于 企业 ,本 书 案例 以 企业 里 主流 Linux 操作 























š 
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系统 CentOS 为 蓝本 ,目前 主流 CentOS 发 行 版 本 为 CentOS 7.2. 

读者 在 安装 CentOS 操作 系统 时 ,如 果 没 有 多 余 的 计算 机 裸 机 设备 ,可 以 在 Windows 
主机 上 安装 VMware Workstation 工具 ,该 工具 的 用 途 可 以 在 Windows 主机 上 创建 多 个 计 
算 机 裸 机 设备 资源 ,包括 CPU 内存 硬盘. 网 卡 .DVD 光驱 、USB 接口 声卡 ,创建 的 多 个 计 
算 机 裸 机 设备 共享 Windows 主机 的 所 有 资源 。 

读者 在 安装 CentOS 操作 系统 时 ,如 果 有 多 余 的 计算 机 裸 机 设备 或 者 企业 服务 器 ,可 以 
将 CentOS 系统 直接 安装 在 服务 器 设备 上 ,安装 系统 之 前 需要 下 载 CentOS 7. 2 操作 系统 镜 
像 文件 (international organization for standardization, ISO 9660 标准 ) ,通过 刻录 工具 ,将 
ISO 镜像 文件 刻录 至 DVD 光盘 或 者 U 盘 里 ,通过 DVD 或 者 U 盘 启 动 ,然后 安装 系统 。 

以 下 为 在 Windwos 主机 上 安装 VMware Workstation 虚拟 机 软件 ,虚拟 机 软件 的 用 途 
可 以 在 真实 机 上 模拟 一 台新 的 计算 机 资源 ,进而 可 以 在 新 的 计算 机 资源 设备 上 安装 CentOS 
7.2 操作 系统 ,具体 步骤 如 下 。 

(1) 安装 环境 准备 。 

a VMware Workstation 10. 0; 

Q CentOS 7. 2 x86_64。 

(2) VMware Workstation 10.0 下 载 。 


http: //download3. vmware. com/software/wkst/file/VMware-workstation-full-10. 0. 1-1379776. exe 
(3) CentOS 7. 2 操作 系统 ISO 镜像 下 载 。 


http://124. 205. 69. 165/files/706900000291EB25/mirror. math. princeton. edu/pub/Cent0S/7/isos/x86 - 
64/CentOS-7-x86 64-DVD-1511.iso 


(A) 将 VMware Workstation 10. 0 和 CentOS 7. 2 ISO 镜像 文件 下 载 至 Windows £ 


统 , 双 击 VMware-workstation-full-10. 0. 1-1379776. exe, 根 据 提示 完成 安装 ,会 在 Windows 
桌面 显示 VMware Workstation 图 标 , 如 图 2-2 所 示 。 


SPN- a D 





图 2-2 VMware Workstation 图 标 
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G) 双击 桌面 VMware Workstation 图 标 打 开 虚 拟 机 软件 ,选择 “创建 新 的 虚拟 机 ”, 如 
图 2-3 所 示 。 








虚拟 化 物理 机 
ARGUS Lane su. 


打开 虚拟 机 





图 2-3 VMware Workstation 创建 虚拟 机 


(6) 新 建 虚 拟 机 向 导 ,选择 * 自 定义 (高 级 )(C) "选项 ,如 图 2-4 所 示 。 


-—À a 
== == 





欢迎 使 用 新 建 虚拟 机 向 导 


Tr BIER mas? 


加 奥 型 (推荐 XT) 
DANAREN Workstation 11.0 
[d 


WORKSTATION © Exe OXO) 
OREN SCSI OMIA. kt n 
RSE Var St IO 


t-50) | [pasu 
图 2-4 创建 虚拟 机 向 导 


(7) 安装 客户 机 操作 系统 ,选择 “ 稍 后 安装 操作 系统 (S)”, 如 图 2-5 所 示 。 
(8) 选择 客户 机 操作 系统 ,由 于 即将 安装 CentOS 7. 2 操作 系统 ,所 以 需要 选择 Linux 
CL) ,同时 版 本 (V) 选 择 “CentOS 64 位 ”, 如 图 2-6 所 示 。 
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© RED): 
ovo 698 (F) 





O 去 装 程序 光盘 映像 文件 (so)(M)- 
EACentOS-6.5-x86, 64-bin-DVD1.so 



































26 ”操作 系统 版 本 


(9) 虚拟 机 内 存 设置 ,默认 为 1024MB, 如 图 2-7 所 示 。 
(LO) 选择 虚拟 机 网 络 类 型 ,此 处 选择 “使 用 桥接 网 络 (R) "模式 ,如 图 2-8 所 示 。 
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机 的 内 存 
侈 要 为 此 上 庶 氢 机 使 用 多 少 内 存 ? 





指定 分 配给 此 庶 专 机 的 内 存量 。 内 存 大 小 必须 为 4 MB 的 信教。 


Meet esr ve (M): 


< a 最 大 推荐 内 存 ; 
6364 MB 


a 
4 uin 
1024 MB 


O 客户 机 操作 系统 艇 低 推荐 内 存 : 
S512 MB 








C 使 用 网 络 地 址 转 搞 (NATXE) 
fa ill had TP RATE VUE SERRATE 


O 使 用 仅 主机 模式 网 络 (H) 
将 客户 机 操作 系统 连接 到 主机 上 的 专用 虚拟 网 络 * 











2-8 虚拟 机 网 络 类 型 


(11) 指定 磁盘 容量 ,设置 虚拟 机 硬盘 大 小 为 40GB, 将 虚拟 磁盘 拆 分 成 多 个 文件 ,如 
图 2-9 所 示 。 
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RENNA “s 


Lori 
磁盘 大 小 为 多 少 ?7 





虚拟 机 8 硬盘 作为 一 个 或 多 个 文件 存 周 在 主机 89 攀 理 磁盘 中 。 这 些 文件 最 初 很 
小 ， 随 着 您 向 虚拟 机 中 添 加 应 用 程序 、 文 件 和 数据 而 过 新 交大 。 

最 大 磁盘 大 小 (SB)(S): 40.0 © 

针对 CentOS 64 位 的 建议 大 小 : 20 GB 


将 虚拟 磁盘 存储 为 单个 文件 (9) 


O 桂 虚 拟 碘 盘 拆 分 成 多 个 文件 (M) 
Lies FURS HERI ZB, (BETRERTERCE ET BSA 








Ls] < 上 一 步 (8) | | 下 一 步 (N) > 取消 





图 2-9 设置 虚拟 机 磁盘 容量 


(12) 虚拟 机 硬件 资源 创建 完成 ,设备 详情 里 面包 括 计 算 机 常用 设备 ,如 内 存 、 处 理 器 、 
硬盘 .CD/DVD、 网 络 适配器 等 ,如 图 2-10 所 示 。 








向 主页 >| E centose 位 > 


(jd CentOS 64 位 





”设备 
mu 1GB 
Gas 1 


CAWeGCsD 40 GB 
*jCD/DVD IDE) SRM 
Ld NAT 
Gussie FE 





Ore 自动 检测 
dm ETE 存在 
ws 自动 检测 





图 2-10 ”虚拟 机 裸 机 设备 
(13) 将 CentOS 7. 2 ISO 系统 镜像 文件 添加 至 虚拟 机 CD/DVD 中 ,双击 虚拟 机 “CD/ 
DVDCDE) 自动 检测 ”选项 ,选择 CentOS-7-x86_64-DVD-1511. iso 镜像 文件 ,如 图 2-11 
所 示 。 
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r 
dues so et [7x7] 
OR Lj > SBY, > sebo (D) >» REFER > "| || m= cere p 
REY H € 


iio Wb 


z iude 


通 最 近 访 问 的 位 置 |5 
Python 教学 CentOS-6.5-i38 


1 BVidecSplitter 
6-bin-DVDLiso 


ubuntu-15.10-d 
esktop-amd64.i 


a 
| 








CentOS-7-x86 6 
-DVD-1511 














安装 镜像 





图 2-11 3f 


2.5 Linux 系统 安装 图 解 


如 果 直接 在 硬件 主机 设备 上 安装 CentOS 系统 , 则 不 需要 安装 虚拟 机 软件 ,直接 插入 
具体 安 





或 者 将 镜像 光盘 插入 DVD 光驱 即 可 ,打开 电源 设备 
光标 选择 Install CentOS 7, 直 接 按 Enter 键 进行 





ISO 镜像 U fi 
(1) 如 图 2-12 Bros. 


CentOS 7 


1 1 CentOS 7 
Test this media & imstall CentOS 7 


Troubleshoot ing 


Automatic boot in 55 seconds.. 





图 2-12 选择 安装 菜单 





按 Enter 键 启动 安装 进程 .进入 光盘 检测 , 按 Esc 键 跳 过 检测 ,如 图 2-13 Pray. 


过 程 中 界面 显示 的 语言 ,初学 者 可 以 选择 “简体 中 






(3) CentOS 7 欢迎 界面 ,选择 安装 


文 ? 或 者 默认 English. an) 2-14 所 示 
(4) CentOS 7 INSTALLATION SUMMARY 安装 总 览 界 面 , 如 图 2-15 所 示 。 


Press the key to begin the installation process 


OK 1 Started Shou Plymouth Boot Screen 
DK lR target Path 
DK 1 Reached target Ba: ysten 
7.169044] sd 2:0:0:0: [sda] Assuming drive cache: write through 


7.259535] dracut-initqueue[671]: mount: /deu/srO is write-protected, mounting read-only 


Ok 1 Started Shou Plymouth Boot 
OK 1 Reached target Paths 
OK 1 Reached target Basic ten 


7.259535] dracut-initqueue[6711: mount: /deu/sr@ is write-protected, mounting read 


OK 1 Created slice system-checkisond5.slice 
tarting Media c 
47d6flbdfe9ab61 
sums: cc49549e136cBlea492f38Zef2f94591182694Z77a5c455b91r6368991c1 
count: 20 





2-13 Bist ISO 镜像 检测 


WELCOME TO CENTOS 7. 





图 2-14 选择 安装 过 程 语言 
E > Ò IDU Cento572 01 


DATE & TIME 
Americas/New Y 


LANGUAGE SUPPORT 


English (United States, 





ECURITY 


SECURITY POLICY 
No profile selected 


A N SOURCE lr 








Help! 


only 





INSTALLATION SUMMARY CENTOS 7 INSTALLATION 
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(5) 选择 I will configure partitioning, 并 单 击 Done 按钮 ,如 图 2-16 所 示 。 





x 


VMware, VMware Virtual S 
sda / 40GiB free 


Disks left unselected here will not be touched. 


Specialized & Network Disks 


Add a disk... 


Disks left unselected here will not be touched. 
Other Storage Options 
Partitioning 





图 2-16 磁盘 分 区 方式 选择 


(6) 下 拉 框 选择 Standard Partition. HF 





十 ”号 ,创建 分 区 ,如 图 2-17 所 示 。 


* New CentOS 7 Installation 
You haven't created any mount points for your 


CentOS 7 installation yet. You can: 


i . ick here to create them sutomaticall 


* Create new mount points by clicking the '+ 
button 


New mount points will use the following 


When you create mount points for your CentOS 7 installation, 
you'll be able to view their details here 








PA E 
40 GiB 40 GiB 


图 2-17 磁盘 分 区 类 型 选择 
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(7) Linux 操作 系统 分 区 与 Windows 操作 系统 分 区 C 盘 、D 盘 有 很 大 区 别 ,Linux 操作 
系统 是 采用 树 形 的 文件 系统 管理 方式 ,所 有 的 文件 存储 都 以 “/( 根 )” 开 始 ,如 图 2-18 所 示 。 





i i i i i i i 
























































bin ete dev boot | | home root m | 
I 
t 1 1 1 1 1 
zabbix | [ jfedu fip jfedu | | jfteach | |zabbix 








图 2-18 Linux 文 件 系 统 目 录 结 构 


Linux 是 以 文件 的 方式 存储 ,例如 /dev/sda 代表 整 块 硬盘 ,/dev/sdal 表示 硬盘 第 一 分 
区 ,/dev/sda2 表示 硬盘 第 二 分 区 ,为 了 能 将 目录 和 硬盘 分 区 关联 ,所 以 Linux 采用 挂 载 点 
的 方式 来 关联 磁盘 分 区 ,/boot 目录 、/ 根 目录 、/data 目录 跟 磁 盘 管理 后 , 称 之 为 分 区 ,每 个 
分 区 功能 如 下 : 

a /boot 分 区 用 于 存放 Linux 内 核 及 系统 启动 过 程 所 需 文件 ; 

üa swap 分 区 又 称 为 交换 分 区 ,类 似 Windows 系统 的 虚拟 内 存 , 物 理 内 存 不 够 用 时 ,以 

供 程序 使 用 swap: 

a /分 区 用 于 系统 安装 核心 分 区 及 所 有 文件 存放 的 根系 统 ; 

a /data 分 区 为 自 定义 分 区 ,企业 服务 器 中 用 于 存放 应 用 数据 。 

如 图 2-19 所 示 ,创建 /boot 分 区 并 挂 载 , 分 区 大 小 为 200MB。 








ADD A NEW MOUNT POINT 


More customization options are available 
after creating the mount point below. 


[boot 


| Cancel | Add mount point 





图 2-19 创建 /boot 分 区 
单 击 Add mount point 即 可 ,磁盘 分 区 默认 文件 系统 类 型 为 XFS, 根 据 上 述 方法 ,依次 


创建 swap 分 区 ,大 小 为 2048MB, 创 建 /分 区 ,大 小 为 剩余 所 有 空间 ,最 终 如 图 2-20 所 示 。 
(8) 选择 SOFTWARE SELECTION ,设置 为 Minimal Install 最 小 化 安装 ,如 果 后 期 需 
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SYSTEM 









Device! 
[boot Ard 
sal l VMware, VMware Virtual S 
(sda) 
Desired Capacity: 
| 35368 | | Modify | 
1953.13 MiB 
Device Type: Volume Group 


LVM ~ |C Encrypt centos (4096 KiB free) * 
Vie Syaa. Modify... 


| xfs - J 回 Retormat 





图 2-20 磁盘 完整 分 区 


要 开发 包 、 开 发 库 等 软件 ,可 以 在 系统 安装 完 后 ,根据 需求 安装 即 可 ,如 图 2-21 所 示 。 


ECURITY 
SECURITY POLICY 
No profile selected 
OFTWARE 
INSTALLATION SOURCE SOFTWARE SELECTION 
Local media Minimal Install 





INSTALLATION DESTINATION KDUMP 
Warning checki...ge configuration Kdump is enabled 


图 2-21 选择 安装 的 软件 


(9) 操作 系统 时 区 选择 ,选择 Asia->Shanghai, 关 闭 Network Time, 如 图 2-22 所 示 。 

(10) 以 上 配置 完毕 后 , 单 击 Begin Installation 后 , 单 击 ROOT PASSWORD 设置 root 
用 户 密 码 ,如 图 2-23 所 示 ,如 果 需 要 新 增 普 通用 户 , 可 以 单 击 USER CREATEION 进行 创 
建 即 可 。 

(11) 安装 进程 完毕 , 单 击 Reboot 重启 系统 ,如 图 2-24 所 示 。 

(12) 重启 CentOS 7 Linux 操作 系统 .进入 login 登录 界面 ,在 “localhost login, ”处 输入 
root, 按 Enter 键 .然后 在 "*Password:“ 处 输入 系统 安装 时 设 定 的 密码 ,输入 密码 时 不 会 提 
示 , 密 码 输入 完 按 Enter 键 . 即 可 登录 CentOS 7 Linux 操作 系统 ,默认 登录 的 终端 称 为 shell 
终端 ,所 有 的 后 续 操 作 指 令 均 在 shell 终端 上 执行 .默认 显示 字符 提示 [Lroot@localhost ~] # . 
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Region: | Asia ~ | sm Shanghai 








图 2-22 操作 系统 时 区 选择 






USER SETTINGS 


Ca ROOT PASSWORD @ User CREATION 


Root password is not set [ 4B No user will be created 


Creating lvmpv on /dev/sáa2 








图 2-23 设置 root 用 户 密码 


CONFIGURATION CENTOS 7 INSTALLATION 
Blu Help! (F1) 


uie SER SETTINGS 


Ca ROOT PASSWORD @ User cREATION 


Root password is set a No user will be created 


CentOS is now successfully installed and ready for you to uset 
Go ahead and reboot to start using it! 


图 2-24 系统 安装 完毕 
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Hp“ H ”代表 当 前 是 root 用 户 登录 ,如 果 是 ”$ 表示 当前 为 普通 用 户 登录 ,如 图 2-25 所 示 。 


st login 


Thu Aug 18 12:25 
n 
] ca 


uname -a 
localdomain 3.18.9-327 j6 SMP Thu Mov 19 22:18:57 UTC 2 


]8 pud 





图 2-25 login 登录 系统 界面 


2.6 菜鸟 学 好 Linux 大 绝招 


Linux 系统 安装 是 初学 者 的 门槛 ,系统 安装 完毕 后 ,很 多 初学 者 不 知道 该 如 何 学 习 , 不 
知道 如 何 快 介 , 下 面 总 结 了 菜鸟 学 好 Linux 技能 的 大 绝招 : 
a 初学 成 Linux 系统 硬盘 分 区 及 安装 之 后 , 需 如 & Linux 系统 管理 必 备 命 

A z 4M 


命令 包括 : cd, ls, pwd, clear, chmod, chown,chattr, useradd, userdel, groupadd , 













vi, vim, cat, more, less, mv, cp, rm, rmdir, touch, ifconfig, ip addr, ping, route, echo, 
we,expr, bc, In, head, tail, who, hostname, top, df, du, netstat, ss, kill, alias, man, 
tar,zip,unzip, jar, fdisk, free, uptime, lsof, lsmod, lsattr, dd, date, crontab, ps, find, 
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awk,sed,grep,sort,uniq 等 ,每 个 命令 至 少 


应 用 场景 。 

a 初学 者 进 阶 之 路 , 需 熟 练 构建 Linux 下 常见 服务 : DHCP,SAMBA,DNS, Apache, 
MySQL, Nginx, Zabbix, Squid, Varnish, LVS, keepalived, ELK, MQ, Zookeeper, 
Docker, Openstack , Hbase, Mongodb, Redis 等 , 遇 到 问题 先 思考 ,没有 头绪 可 以 借助 
A BE Google 搜索 引擎 ,问题 解决 后 ,将 解决 问题 的 步骤 并 形成 文档 。 

a 理解 操作 系统 的 每 个 命令 ,每 个 服务 的 用 途 ,为 什么 要 配置 这 个 服务 ,为 什么 需要 调 
整 该 参数 ,只 有 带 着 目标 去 学 习 才能 更 快 地 成 长 ,才能 让 你 掌握 更 多 新 知识 。 

O 熟练 搭建 Linux 系统 上 各 种 服务 之 后 ,需要 理解 每 个 服务 的 完整 配置 和 优化 ,可 以 
i 维 。 例 如 LAMP 所 有 服务 放 在 一 台 机 器 上 ,能 否 分 开放 在 多 台 服 务 器 以 平衡 
压力 呢 , 该 如 何 去 构 建 和 部 署 呢 ?一 台 物 理 机 构建 Docker 虚拟 化 ,如 果 是 100 台 、 
1000 台 如 何 去 实 施 呢 , 会 遇 到 哪些 问题 呢 ? 

经 典 的 命令 解释 器 ,shell 脚本 可 以 实现 自动 化 运 维 , 平 时 多 练习 

性 个 shell 脚本 多 练习 几 遍 ,从 中 吸取 关键 的 参数 、 语 法 ,不 断 地 练 




































a Shell 是 Linux # 
shell 脚本 编程 ， 
习 , 不 断 地 提高 

建立 个 人 学 习 博 客 .把 平时 工作 、 学 习 中 的 知识 都 记录 到 博客 ,一 方面 可 以 供 别 人 参 





法 


D 
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考 , 另 一 方面 可 以 提高 自己 文档 编写 及 总 结 的 能 力 。 

a 学 习 Linux 技术 是 一 个 长 期 的 过 程 ,一 定 要 坚持 , 遇 到 各 种 错误 、 问 题 可 以 借助 百 
度 、Google 搜索 引擎 ,如 果 解 决 不 了 ,可 以 请 教 同 学 、 朋 友 及 老师 。 

a 通过 以 上 学 习 方 法 ,不 断 进步 ,如 果 想 达到 高 级 .资深 大 牛 级 别 , 还 需要 进一步 深入 
学 习 Web 集群 架构 、 网 站 负载 均衡 、 网 站 架构 优化 、 自 动 化 运 维 、 运 维 开发 虚拟 化 等 

a 多 练习 才 是 硬 道理 ,实践 出 真知 。 


本 章 小 结 


通过 对 本 章 内 容 的 学 习 , 读 者 对 Linux 系统 有 了 一 个 初步 的 理解 ,了 解 Linux 行业 的 发 
展 前 景 ,学 会 了 如 何在 企业 中 或 者 虚拟 机 中 安装 Linux 系统 。 

对 32 位 ,64 位 CPU 处 理 器 以 及 对 Linux 内 核 版 本 命名 也 有 了 进一步 的 认识 ,同时 掌 
握 了 学 习 Linux 的 大 绝招 。 


同步 作业 


1. 企业 中 服务 器 品牌 DELL R730 ,其 硬盘 总 量 为 300GB, 现 需 安装 CentOS 7 Linux 操 
作 系 统 ,请 问 如 何 进行 分 区 ? 

2. GNU 与 GPL 的 区 别 是 什么 ? 

3. 企业 一 台 Linux 服务 器 ,查看 该 Linux 内 核 显 示 : 3. 10. 0-327. 36, 3. el7. x86_64, ,请 
分 别 说 出 点 号 分 割 的 每 个 数字 及 字母 的 含义 ? 

4. CentOS Linux 至 今 发 布 了 多 少 个 系统 版 本 ? 

5. 如 果 Linux 系统 采用 光盘 安装 ,如 何 将 ISO 镜像 文件 刻录 成 光盘 ,请 写 出 具体 实现 
流程 。 
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Linux 系统 安装 完毕 ,需要 对 Linux 系统 进行 管理 和 维护 ,让 Linux 服务 器 能 真正 应 用 
于 企业 中 。 

本 章 向 读者 介绍 Linux 系统 引导 原理 、 启 动 流程 .系统 目录 、 权 限 、 命 令 及 CentOS 7 和 
CentOS 6 在 系统 管理 ,命令 方面 的 区 别 等 内 容 。 


3.1 操作 系统 启动 概念 


不 管 是 Windows 还 是 Linux 操作 系统 ,底层 设备 一 般 均 为 物理 硬件 ,操作 系统 启动 之 
前 会 对 硬件 进行 检测 ,然后 硬盘 引导 启动 操作 系统 ,以 下 为 与 操作 系统 启动 相关 的 几 个 


3.1.1 BIOS 


基本 输入 输出 系统 (basic input output system,BIOS) 是 一 组 固化 到 计算 机 主板 上 的 只 
读 内 存 镜像 (read only memory image,ROM) 芯 片上 的 程序 , 它 保存 着 计算 机 最 重要 的 基本 
输入 输出 的 程序 、 系 统 设置 信息 ,开机 后 自 检 程序 和 系统 自 启动 程序 。 主 要 功能 是 为 计算 机 
提供 最 底层 的 、 最 直接 的 硬件 设置 和 控制 。 


3.1.2 MBR 
全 新 硬盘 在 使 用 之 前 必须 进行 分 区 格式 化 ,硬盘 分 区 初始 化 的 格式 主要 有 两 种 ,分 别 为 
MBR 格式 和 GPT 格式 。 


如 果 使 用 MBR 格式 ,操作 系统 将 创建 主 引 导 记 录 扇 区 (master boot record. MBR), 
MBR 位 于 整 块 硬盘 的 0 磁道 0 柱 面 1 扇 区 ,主要 功能 是 操作 系统 对 磁盘 进行 读 写 时 ,判断 
分 区 的 合法 性 以 及 分 区 引导 信息 的 定位 。 

主 引 导 扇 区 总 共 为 512 字 节 ,MBR 只 占用 了 其 中 的 446 个 字 节 ,另外 的 64 个 字 节 为 硬 
盘 分 区 表 (disk partition table. DPT) ,最 后 两 个 字 节 “55,AA” 是 分 区 的 结束 标志 。 











26 <| 曝光 : Linux 企 业 运 维 实战 


在 MBR 硬盘 中 ,硬盘 分 区 信息 直接 存储 于 主 引导 记录 (MBR) 中 ,同时 主 引导 记录 还 存 
储 着 系统 的 引导 程序 ,如 表 3-1 所 示 。 


表 3-1 MBR 分 区 表 























0000 一 0088 MBR 主 引导 程序 主 引导 程序 
0089—01BD 出 错 信息 数据 区 数据 区 
01BE—01CD 分 区 项 1016 字 节 ) 
01CE—01DD 分 区 项 2016 字 节 ) 
01DE—01ED 分 区 项 3(16 字 节 ) i 
01EE—01FD 分 区 项 4(16 字 节 ) 

01FE 55 

结束 标志 
O1FF AA Bois 











MBR 是 计算 机 启动 最 先 执行 的 硬盘 上 的 程序 ,只 有 512 字 节 大 小 ,所 以 不 能 载 人 操作 
系统 的 核心 ,只 能 先 载 入 一 个 可 以 载 入 计算 机 核心 的 程序 , 称 为 引导 程序 。 

因为 MBR 分 区 标准 决定 了 MBR 只 支持 在 2TB 以 下 的 硬盘 ,对 于 后 面 的 多 余 空 间 只 
能 浪费 。 为 了 支持 能 使 用 大 于 2TB 硬盘 空间 ,微软 和 英特尔 公司 在 可 扩展 固件 接口 
(extensible firmware interface, EFI) 方 案 中 开发 了 全 局 唯一 的 标识 符 (globally unique 
identifier,GUID) ,进而 全 面 支持 大 于 2TB 硬盘 空间 在 企业 中 使 用 。 


3.1.3 GPT 


全 局 唯一 的 标识 符 (globally unique identifier. GUID) , 正 逐 渐 取 代 MBR 成 为 新 标准 。 
它 和 统一 的 可 扩展 固件 接口 (unified extensible firmware interface,UEFI) 相 辅 相 成 。UEFI 
用 于 取代 老 旧 的 BIOS. ij GPT 则 取代 老 旧 的 MBR。 之 所 以 称 为 "GUID 分 区 表 ”, 是 因为 
驱动 器 上 的 每 个 分 区 都 有 一 个 全 局 唯一 的 标识 符 。 

TE GPT 硬盘 中 ,分 区 表 的 位 置信 息 储 存在 GPT 头 中 。 出 于 兼容 性 考虑 ,第 一 个 扇 区 
同样 有 一 个 与 MBR 类 似 的 标记 , 叫 作 受 保护 的 主 引导 记录 (protected main boot record, 
PMBR), 

PMBR 的 作用 是 当 使 用 不 支持 GPT 的 分 区 工具 时 ,整个 硬盘 将 显示 为 一 个 受 保护 的 
分 区 ,以 防止 分 区 表 及 硬盘 数据 遭 到 破坏 ,而 其 中 存储 的 内 容 和 MBR 一 样 ,之 后 才 是 
GPT 头 。 

GPT 优点 支持 2TB 以 上 磁盘 ,如 果 使 用 Fdisk 分 区 ,最 大 只 能 建立 2TB 大 小 的 分 区 ， 
创建 大 于 2TB 的 分 区 , 需 使 用 parted ,同时 必须 使 用 64 MIRER E. MAC, Linux 系统 都 能 
支持 GPT 分 区 格式 .Windows 7/8 64 fz, Windows Server 2008 64 位 支持 GPT. GPT fi 
盘 分 区 表 内 容 如 图 3-1 所 示 。 


3.1.4 GRUB 


GNU 项 目的 多 操作 系统 启动 程序 (GRand unified bootloader, GRUB) ,可 以 支持 多 操 
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图 3-1 GPT 分 区 表 内 容 
作 系 统 的 引导 , 它 允 许 用 户 可 以 在 计算 机 内 同时 拥有 多 个 操作 系统 ,并 在 计算 机 启动 时 选择 
希望 运行 的 操作 系统 。 
GRUB 可 用 于 选择 操作 系统 分 区 上 的 不 同 内 核 , 也 可 用 于 向 这 些 内 核 传 递 启动 参数 。 
它 是 一 个 多 重 操 作 系 统 启 动 管理 器 。 用 来 引导 不 同系 统 , 如 Windows, Linux, Linux 常见 
的 引导 程序 包括 LILO,GRUB,GRUB2.CentOS 7 Linux 默认 使 用 GRUB2 引导 程序 ,引导 
系统 启动 。 如 图 3-2 所 示 为 GRUB 加 载 引 导 流 程 。 


power-up/reset 


[| systemstatup | BIOS/BootMonitor 
stage | bootloader MBR 

stage 2 bootloader LILO, GRUB, etc. 
kernel Linux 


init user-space 

















operation 
图 3-2 GRUB 引导 流程 


GRUB2 是 基于 GRUB 开发 成 更 加 安全 强大 的 多 系统 引导 程序 ,最 新 Linux 发 行 版 都 
是 使 用 GRUB2 作为 引导 程序 。 同 时 GRUB2 采用 了 模块 化 设计 ,使 得 GRUB2 核心 更 加 精 
炼 ,使 用 更 加 灵活 ,同时 也 就 不 需要 像 GRUB 分 为 stage 1 \stage 1, 5,stage 2 三 个 阶段 。 


3.2 Linux 操作 系统 启动 流程 


初学 者 对 Linux 操作 系统 启动 流程 深入 理解 ,能 有 助 于 后 期 在 企业 中 更 好 地 维护 
Linux 服务 器 ,能 够 快速 定位 系统 问题 ,进而 解决 问题 。Linux 操作 系统 启动 流程 如 图 3-3 
所 示 。 

1. 加 载 BIOS 

计算 机 电源 加 电 质 检 , 首 先 加 载 基 本 输入 输出 系统 (basic input output system, BIOS) , 
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加 载 BIOS 一 一 | 读 取 MBR arusi =| 加 载 kernel 


| 





























inittab 加 载 加 载 rc0 一 rc6 
POSTIVE MEA F [^7] resysinit | 一 | 内 核 模块 级 别 启动 





读 取 
图 3-3 系统 启动 流程 


BIOS 中 包含 硬件 CPU 内存、 硬盘 等 相关 信息 ,包含 设备 启动 顺序 信息 、 硬 盘 信 息 、 内 存 信 
息 、. 时 钟 信息 、. 即 插 即 用 (plug-and-play,PNP) 特 性 等 。 加 载 完 BIOS 信息 ,计算 机 将 根据 顺 
序 进行 启动 。 

2. 读 取 MBR 

读 取 完 BIOS 信息 ,计算 机 将 会 查找 BIOS 所 指定 的 硬盘 MBR 引导 扇 区 ,将 其 内 容 复 
制 到 0x7c00 地 址 所 在 的 物理 内 存 中 。 被 复制 到 物理 内 存 的 内 容 是 bootloader, 然 后 进行 
引导 。 

3. GRUB 引导 

GRUB 启动 引导 器 是 计算 机 启动 过 程 中 运行 的 第 一 个 软件 程序 , 当 计 算 机 读 取 内 存 中 
的 GRUB 配 置信 息 后 ,会 根据 其 配置 信息 来 启动 硬盘 中 不 同 的 操作 系统 。 

4. 加 载 kernel 

计算 机 读 取 内 存 映像 ,并 进行 解压 缩 操作 ,屏幕 一 般 会 输出 *Uncompressing Linux” 的 
提示 , 当 解 压缩 内 核 完 成 后 ,屏幕 输出 “OK，booting the kernel”。 系 统 将 解压 后 的 内 核 放 
置 在 内 存 之 中 ,并 调用 start. kernel O 函数 来 启动 一 系列 的 初始 化 函数 并 初始 化 各 种 设备 ， 
完成 Linux 核心 环境 的 建立 。 

5. 设 定 inittab 运行 等 级 

内 核 加 载 完毕 ,会 启动 Linux 操作 系统 第 一 个 守护 进程 init, 然 后 通过 该 进程 读 取 /etc/ 
inittab 文件 ,/etc/inittab 文件 的 作用 是 设 定 Linux 的 运行 等 级 ,Linux 常见 运行 级 别 如 下 : 
a 0; 关机 模式 。 
9 1: 单 用 户 模式 。 
: 无 网 络 支持 的 多 用 户 模式 。 
: 字符 界面 多 用 户 模式 。 
: 保留 ,未 使 用 模式 。 
: 图 像 界面 多 用 户 模式 。 
: 重新 引导 系统 ,重启 模式 。 
. 加载 rc. sysinit 
读 取 完 运行 级 别 ,Linux 系统 执行 的 第 一 个 用 户 层 文 件 /etc/rc. d/rc. sysinit. 该 文件 功 
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能 包括 设 定 path 运行 变量 . 设 定 网 络 配置 .启动 swap 4: IX. WEGE / proc, # HE PHM. BOE 
SELinux 等 。 

7. 加 载 内 核 模块 

读 取 /etc/modules. conf 文件 及 /etc/modules. d 目录 下 的 文件 来 加 载 系统 内 核 模块 。 
该 模块 文件 ,可 以 后 期 添加 或 者 修改 及 删除 。 

8. 启动 运行 级 别 程序 

根据 之 前 读 取 的 运行 级 别 ,操作 系统 会 运行 rc0. d 到 rc6. d 中 的 相应 的 脚本 程序 ,来 完 
成 相应 的 初始 化 工作 和 启动 相应 的 服务 。 其 中 以 S 开头 表示 系统 即将 启动 的 程序 ,如 果 以 
K 开头 , 则 代表 停止 该 服务 。S # K 后 紧 跟 的 数字 为 启动 顺序 编号 ,如 图 3-4 所 示 。 











[级别 服务 
9. 读 取 rc.local 文件 

叶 作 系统 启动 完 相 应 服务 之 后 ， 
ij 


E HÍT /etc/ rc. d/re. local 文件 ,可 以 将 需要 开机 
文件 末尾 ,系统 会 逐 行 去 执行 并 启动 相应 命令 ,如 图 3-5 所 示 








启动 的 任务 加 入 至 


VA 





图 3-5 开机 运行 加 载 文件 


10. 执行 /bin/login 程序 

执行 /bin/login 程序 ,启动 到 系统 登录 界面 :操作 系统 等 待 用 户 输入 用 户 名 和 密码 , 即 
可 登录 到 shell 终端 ,如 图 3-6 所 示 . 输 入 用 户 名 、 密 码 即 可 登录 Linux 操作 系统 ,至 此 Linux 
操作 系统 完整 流程 启动 完毕 
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图 3-6 系统 登录 界面 


3.3 CentOS 6 5 CentOS 7 区 别 


CentOS 6 默认 采用 sysvinit 风格 ,sysvinit 就 是 system V 风格 的 init 系统 ,sysvinit 用 
术语 runlevel 来 定义 “预订 的 运行 模式 ”。sysvinit 检查 “/etc/inittab” 文 件 中 是 否 含有 
it 的 默认 运行 模式 。sysvinit 使 用 脚本 ,文件 命名 规则 和 软 链 
AUR IRI runlevel, 串 行 启动 各 个 进程 及 服务 。 

CentOS 7 默认 采用 systemd 风格 ,systemd 是 Linux 系统 中 最 新 的 初始 化 系统 (init)， 
它 主要 的 设计 目标 是 克服 sysvinit 固有 的 缺点 e 的 启动 速度 。 

systemd 和 Ubuntu 的 upstart 是 竞争 对 手 ,预计 会 取代 upstart。systemd 的 目标 是 尽 
可 能 启动 更 少 的 进程 , 尽 可 能 将 更 多 进程 并 行 启 动 。 如 表 3-2 所 示 为 CentOS 6 与 CentOS 7 操 
作 系统 的 区 别 。 








“initdefault" 项 ,该 选项 指定 
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# 3-2 CentOS 6 5j CentOS 7 操作 系统 区 别 










































A B C D 
编号 系统 功能 CentOS 6 CentOS 7 
1 init 系统 sysvinit systemd 
2 | 桌面 系统 GNOME 2.X GNOME 3. X/GNOME shell 
3 | 文件 系统 EXT4 XFS 
1 | 内 核 版 本 2.6.X 3.10. X 
5 | 启动 加 载 器 GRUB Legacy( 十 efibootmgr) GRUB2 
6 | 防火 墙 iptables firewalld 
7 | 数据 库 MySQL MariaDB 
8 | 文件 目录 bin. /sbin. /lib. /lib64 在 / 根 下 bin. /sbin. /lib. /lib64 在 /usr F 
9 主机 名 etc/sysconfig/network etc/hostname 
10 | 时 间 同 步 ntp.ntpq -p chrony .chronyc sources 
# vi/etc/sysconfig/clock 
ZONE sia/ Tokyo" 
: UTC - false # timedatectl set-timezone Asia/ Tokyo 
1l | 修改 时 间 
井 ln -s 并 timedatectl status 
usr/share/zoneinfo/ Asia/Tokyo 
etc/localtime 
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续 表 
A B c D 
编号 系统 功能 CentOS 6 CentOS 7 
/etc/locale. conf 
12 | 区 域 及 字符 设置 | /etc/sysconfig/il 8n localectl set-locale LANG=zh_CN. utf8 
localectl status 
# service service name start # systemctl start service name 
13 | 启动 停止 服务 # service service name stop # systemctl stop service name 
# service sshd restart/status/reload | # systemctl restart/status/reload sshd 
# systemctl enable service name 
14 | 自动 启动 chkconfig service name on/off id ñ il 
# systemctl disable service name 
# systemet! list-unit-files 
15 | 服务 列表 chkconfig --list k 2 š 
# systemctl --type service 
16 | Kill 服务 kill -9 < PID > systemctl kill - -signal 一 9 sshd 
17 | 网 络 及 端口 信息 | netstat ss 
18 |IP 信息 ifconfig ip address show 
19 | 路 由 信息 route -n ip route show 
20 | 关闭 停止 系统 shutdown -h now systemctl poweroff 
21 | 单 用 户 模式 init S systemctl rescue 
n " vim/etc/inittab systemctl set-default graphical. target 
22 | 运行 模式 MA : 
id:3:initdefault : systemctl set-default multi-user. target 


EXT3 
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Linux 操作 系统 文件 系统 类 型 主要 有 EXT3,EXTA,XFS 等 ,其 中 CentOS 6 普遍 采用 


Al EXTA 文件 系统 格式 ,而 CentOS 7 默认 采用 XFS 格式 。 以 下 为 EXT3 、EXT4、 
XFS 的 区 别 : 
EXT4 是 第 四 代 扩 展 文件 系统 (fourth extended filesystem,EXT4) 是 Linux 系统 下 
的 日 志文 件 系统 ,是 EXT3 文件 系统 的 后 继 版 本 ; 

EXT3 类 型 文件 系统 支持 最 大 16TB 文件 系统 和 最 大 2TB 文件 ; 

EXT4 分 别 支持 IEB(1EB=1024PB,1PB 王 1024TB) 的 文件 系统 ,以 及 16 TB 的 单个 


xt: 


EXT3 只 支持 32000 个 子 目录 ,而 EXTA 支持 无 限 数量 的 子 目 录 ， 


EXT4 磁盘 结构 的 inode 个 数 支持 40 亿 , 而 且 EXTA 的 单个 文件 大 小 支持 到 16TB; 
XFS 是 一 个 64 位 文件 系统 .最 大 支持 SEB wà 1 字 节 的 单个 文件 系统 ,实际 部 署 时 取 
决 于 宿主 操作 系统 的 最 大 块 限制 ,常用 于 64 位 操作 系统 ,发 挥 更 好 的 性 能 ; 

XFS 一 种 高 性 能 的 日 志文 件 系统 ,最 早 于 1993 年 ,由 Silicon Graphics 为 他 们 的 
IRIX 操作 系统 而 开发 ,是 IRIX 5. 3 版 的 默认 文件 系统 ; 

XFS T 2000 年 5 月 .Silicon Graphics 以 GPL 发 布 这 套 系 统 的 源 代码 ,之 后 被 移植 
到 Linux 内 核 上 ,XFS 特别 擅长 处 理 大 文件 ,同时 提供 平滑 的 数据 传输 。 
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3.4 TCP/IP 协议 概述 


要 学 好 Linux, 对 网 络 协议 也 要 有 充分 的 了 解 和 掌握 ,例如 传输 控制 协议 /因特网 互联 
协议 (transmission control protocol/internet protocol. TCP/IP) . TCP/IP 名 为 网 络 通信 协 
议 ,是 Internet 最 基本 的 协议 .Internet 国际 互联 网 络 的 基础 ,由 网 络 层 的 IP 协议 和 传输 层 
的 TCP 协议 组 成 。 

TCP/IP 定义 了 电子 设备 如 何 连 入 因特网 ,以 及 数据 如 何在 它们 之 间 传 输 的 标准 。 协 
议 采 用 了 4 层 的 层级 结构 ,每 一 层 都 呼叫 它 的 下 一 层 所 提供 的 协议 来 完成 自己 的 需求 。 

TCP 负责 发 现 传输 的 问题 ,一旦 有 问题 就 发 出 信号 ,要求 重 新 传输 ,直到 所 有 数据 安全 
正确 地 传输 到 目的 地 ,而 IP 是 给 因特网 的 每 台 联 网 设备 规定 一 个 地 址 。 

基于 TCP/IP 的 参考 模型 将 协议 分 成 4 个 层次 ,分 别 是 网 络 接口 层 、 网 际 互联 层 (IP 
层 ) ,传输 层 (TCP 层 ) 和 应 用 层 。 如 图 3-7 所 示 为 TCP/IP 和 OSI 参考 模型 层次 的 对 比 。 





























应 用 层 
表示 层 应 用 屋 
会 话 层 
传输 层 | | temm 
mar | CEA 
sez] 
=a 网 络 接口 层 
OSI 模型 TCP/IP 模 型 


图 3-7 OSI7 层 模型 与 TCP/IP 4 层 对 比 
OSI 模型 与 TCP/IP 模型 协议 功能 实现 对 照 表 ,如 表 3-3 所 示 。 
表 3-3 0817 层 模 型 与 TCP/IP 层次 功能 对 比 























OSI7 层 每 层 功 能 TCP/IP pi f& 

应 用 层 “ak ASS SN TFTP.HTTP.SNMP.FTP.SMTP.DNS.Telnet 

表示 层 | 数据 格式 化 .代码 转换 .数据 加 密 没有 协议 

会 话 层 “| 解除 或 建立 与 别 的 接点 的 联系 没有 协议 

传输 层 提供 端 对 端的 接口 TCP,UDP 

网 络 层 为 数据 包 选择 路 由 IP.ICMP,OSPF,BGP,IGMP, ARP, RARP 
数据 链 路 层 | 传输 有 地 址 的 帧 以 及 错误 检测 功能 ”| SLIP.PPP,MTU 

物理 层 ee ISO 2110 IEEE 802,IEEE 802. 2 
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3.5 IP 地 址 及 网 络 常识 


互联 网 协议 地 址 (internet protocol address,IP),IP 地 址 是 IP 协议 提供 的 一 种 统一 的 
地 址 格式 , 它 为 互联 网 上 的 每 一 个 网 络 和 每 一 台 主 机 分 配 一 个 逻辑 地 址 ,以 此 来 屏蔽 物理 地 
址 的 差异 。IP 地 址 给 Internet. 上 的 每 个 通信 设备 分 配 一 个 编号 ,每 台 联 网 的 PC 上 都 需要 
有 IP 地 址 ,这 样 才能 正常 通信 。 

IP 地 址 是 一 个 32 位 的 二 进 制 数 ,通常 被 分 割 为 4 个 8 位 二 进 制 数 ( 即 4 个 字 节 )。IP 
地 址 通常 用 点 分 十 进 制 表示 成 “a. b. c. d" 的 形式 ,其 中 ,ab.c.d 都 是 0 一 255 之 间 的 十 进 制 
整数 。 

常见 的 IP 地 址 分 为 IPv4 与 IPv6 PYAAR. IP 地 址 编 址 方案 将 IP 地 址 空间 划分 为 A. 
BC.D\E 五 类 ,其 中 A、B、C 是 基本 类 ,D.E 类 作为 多 播 和 保留 使 用 。 

IPv4 有 4 段 数字 ,每 一 段 最 大 不 超过 255。 由 于 互联 网 的 蓬勃 发 展 ,IP 位 址 的 需求 量 
越 来 越 大 ,使 得 IP 位 址 的 发 放 愈 趋 严格 ,各 项 资料 显示 ,全球 IPv4 位 址 在 2011 年 已 经 全 部 
分 发 完毕 。 

地 址 空间 的 不 足 必 将 妨碍 互联 网 的 进一步 发 展 。 为 了 扩大 地 址 空间 , 拟 通过 IPv6 重新 
定义 地 址 空间 。IPv6 采用 128 位 地 址 长 度 。 在 IPv6 的 设计 过 程 中 除了 一 劳 永 逸 地 解决 了 
地 址 短缺 问题 以 外 ,IPv6 的 诞生 可 以 给 全 球 每 一 粒 沙 子 配 置 一 个 IP 地 址 ,还 考虑 了 在 IPv4 
中 解决 不 好 的 其 他 问题 ,如 图 3-8 所 示 。 





图 3-8 IPv4 与 IPv6 地 址 


3.5.1 IP 地 址 分 类 


IPv4 地 址 编 址 方案 有 A、B、C、D\E 五 类 ,其 中 A、B、C 是 基本 类 ,D、 上 类 作为 多 播 和 保 
留 使 用 ,各 分 类 详解 如 下 。 

1. A 类 IP 地 址 

一 个 A 类 IP 地 址 是 指 ,在 TP 地 址 的 四 段 号 码 中 ,第 一 段 号 码 为 网 络 号 码 , 剩 下 的 三 段 
号 码 为 本 地 计算 机 的 号 码 。 如 果 用 二 进 制 表示 IP 地 址 的 话 ,A 类 IP 地 址 就 由 1 字 节 的 网 
络 地 址 和 3 字 节 主机 地 址 组 成 ,网 络 地 址 的 最 高 位 必须 是 0。A 类 IP 地 址 中 网 络 的 标识 长 
度 为 8 位 ,主机 标识 的 长 度 为 24 位 ,A 类 网 络 地 址 数量 较 少 ,有 126 个 网 络 ,每 个 网 络 可 以 
容纳 主机 数 可 达到 1600 万 台 。 

A 类 了 了 P 地 址 范围 为 1. 0. 0.0 一 127. 255. 255. 255 (二 进 制 表示 为 00000001 00000000 
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00000000 00000000—01111110 11111111 11111111 11111111) ,最 后 一 个 为 广播 地 址 。A 
类 IP 地 址 的 子 网 掩 码 为 255. 0. 0. 0, 每 个 网 络 支 持 的 最 大 主机 数 为 256 一 2 一 16777214 台 。 

2. B 3E IP 地 址 

一 个 BB 类 IP 地 址 是 指 在 TP 地 址 的 四 段 号 码 中 ,前 两 段 号 码 为 网 络 号 码 。 如 果 用 二 进 
制 表 示 IP 地 址 的 话 ,B 类 IP 地 址 就 由 2 字 节 的 网 络 地 址 和 2 字 节 主机 地 址 组 成 ,网 络 地 址 
的 最 高 位 必须 是 10 。 

B 类 IP 地址 中 网 络 的 标识 长 度 为 16 位 ,主机 标识 的 长 度 为 16 位 ,B 类 网 络 地 址 适用 
于 中 等 规模 的 网 络 ,有 16384 个 网 络 , 每 个 网 络 所 能 容纳 的 计算 机 数 为 6 万 多 台 。 

B 3 IP 地址 范围 为 128. 0.0. 0~191. 255. 255. 255( 二 进 制 表 示 为 10000000 00000000 
00000000 00000000~ 10111111 11111111 11111111 11111111) ,最 后 一 个 是 广播 地 址 。B 类 
IP 地 址 的 子 网 掩 码 为 255. 255.0. 0, 每 个 网 络 支 持 的 最 大 主机 数 为 256? 一 2 二 65534 台 。 

3. C 类 IP 地 址 

— C 3& IP 地 址 是 指 在 TP 地 址 的 四 段 号 码 中 ,前 三 段 号 码 为 网 络 号 码 , 剩 下 的 一 段 号 
码 为 本 地 计算 机 的 号 码 。 如 果 用 二 进 制 表示 IP 地 址 的 话 ,C 类 IP 地 址 就 由 3 字 节 的 网 络 
地 址 和 1 字 节 主机 地 址 组 成 ,网 络 地 址 的 最 高 位 必须 是 110。C 类 IP 地 址 中 网 络 的 标识 长 
度 为 24 位 ,主机 标识 的 长 度 为 8 位 ,C 类 网 络 地 址 数量 较 多 ,有 209 万 余 个 网 络 。 适 用 于 小 
规模 的 局 域 网 络 ,每 个 网 络 最 多 只 能 包含 254 台 计算 机 。 

C 类 JIP 地 址 范围 为 192. 0. 0. 0— 223. 255. 255. 255( 二 进 制 表示 为 11000000 00000000 
00000000 00000000— 11011111 11111111 11111111 11111111)。C 类 IP 地 址 的 子 网 掩 码 为 
255. 255. 255.0, 每 个 网 络 支 持 的 最 大 主机 数 为 256 一 2 一 254 台 。 

4. D 3€ IP 地址 

D 3& IP 地 址 又 称 为 多 播 地 址 (multicast address) , 即 组 播 地 址 。 在 以 太 网 中 ,多 播 地 址 
命名 了 一 组 应 该 在 这 个 网 络 中 应 用 接收 到 一 个 分 组 的 站 点 。 多 播 地 址 的 最 高 位 必须 是 
1110 ,范围 从 224. 0. 0. 0— 239. 255. 255. 255, 

5. 特殊 的 地 址 

每 一 个 字 节 都 为 0 的 地 址 (0. 0. 0.0) 表 示 当 前 主机 ,IP 地 址 中 的 每 一 个 字 节 都 为 1 的 
IP 地 址 (255. 255. 255. 255) 是 当前 子 网 的 广播 地 址 ,IP 地 址 中 凡是 以 11110 开头 的 EE 类 IP 
地 址 都 保留 用 于 将 来 和 实验 使 用 。 

IP 地 址 中 不 能 以 十 进 制 127 作为 开头 ,而 以 数字 127. 0. 0. 1 一 127. 255. 255. 255 段 的 
IP 地 址 称 为 回环 地 址 ,用 于 回路 测试 ,如 127. 0.0. 1 可 以 代表 本 机 IP 地 址 ,网 络 ID 的 第 一 
个 8 位 组 也 不 能 全 置 为 0, 全 0 表示 本 地 网 络 。 


3.5.2. Fic 


THES (subnet mask) X 44 II ta HETS , Jib nb 63 , È JE — RET 8 J] — 4 IP 地 址 的 哪 
些 位 标识 的 是 主机 所 在 的 子 网 ,以 及 哪些 位 标识 的 是 主机 的 位 掩 码 。 
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通常 来 讲 , 子 网 掩 码 不 能 单独 存在 , 它 必须 结合 IP 地 址 一 起 使 用 。 子 网 掩 码 只 有 一 个 
作用 ,就 是 将 某 个 IP 地 址 划分 成 网 络 地 址 和 主机 地 址 两 部 分 。 

子 网 掩 码 是 一 个 32 位 地 址 ,用 于 屏蔽 IP 地 址 的 一 部 分 以 区 别 网 络 标识 和 主机 标识 ,并 
说 明 该 IP 地址 是 在 局 域 网 上 ,还 是 在 远程 网 上 。 

对 于 A 类 地 址 ,默认 的 子 网 掩 码 是 255.0.0.0, 而 对 于 B 类 地 址 来 说 默认 的 子 网 掩 码 是 
255. 255. 0.0, 对 于 C 类 地 址 来 说 默认 的 子 网 掩 码 是 255. 255. 255. 0。 

互联 网 是 由 各 种 小 型 网 络 构成 的 ,每 个 网 络 上 都 有 许多 主机 ,这 样 便 构成 了 一 个 有 层次 
的 结构 。IP 地 址 在 设计 时 就 考虑 到 地 址 分 配 的 层次 特点 ,将 每 个 IP 地 址 都 分 割 成 网 络 号 
和 主机 号 两 部 分 ,以 便于 TP 地 址 的 寻 址 操作 。 

子 网 掩 码 的 设 定 必 须 遵循 一 定 的 规则 。 与 二 进 制 IP 地 址 相同 , 子 网 掩 码 由 1 和 0 组 
成 , 且 1 和 0 分别 连续 。 子 网 掩 码 的 长 度 也 是 32 位 ,左边 是 网 络 位 ,用 二 进 制 数字 1 表示 ,1 
的 数目 等 于 网 络 位 的 长 度 ; 右边 是 主机 位 ,用 二 进 制 数字 0 表示 ,0 的 数目 等 于 主机 位 的 
长 度 。 


3.5.3 网 关 地 址 


网 关 (gateway) 是 一 个 网 络 连接 到 另 一 个 网 络 的 “关口 "网关 实 质 上 是 一 个 网 络 通 向 其 
他 网 络 的 IP 地 址 。 主 要 用 于 不 同 网 络 间 传输 数据 。 

例如 电脑 设备 上 网 ,如 果 是 接 入 到 同一 个 交换 机 ,在 交换 机 内 部 传输 数据 是 不 需要 经 过 
网 关 的 ,但 是 如 果 两 台 设 备 不 在 一 个 交换 机 网 络 , 则 需要 在 本 机 配置 网 关 , 内 网 主机 的 数据 
通过 网 关 , 网 关 把 数据 转发 到 其 他 的 网 络 的 网 关 , 直 至 找到 对 方 的 主机 网 络 ,然后 返回 
数据 。 


3.5.4 MAC 地 址 


媒体 访问 控制 (media access control. MAC) 是 物理 地 址 ,硬件 地 址 ,用 来 定义 网 络 设备 
的 位 置 。 

在 OSI 模型 中 ,第 三 层 网 络 层 负责 IP 地 址 ,第 二 层 数据 链 路 层 则 负责 MAC 地 址 。 因 
此 一 个 主机 会 有 一 个 MAC 地 址 ,而 每 个 网 络 位 置 会 有 一 个 专属 于 它 的 IP 地 址 。 

IP 地 址 工作 在 OSI 参考 模型 的 第 三 层 网 络 层 。 两 者 之 间 分 工 明确 ,默契 合作 ,完成 通 
信 过 程 。IP 地 址 专注 于 网 络 层 . 将 数据 包 从 一 个 网 络 转发 到 另外 一 个 网 络 ; 而 MAC 地 址 
则 专注 于 数据 链 路 层 ,将 一 个 数据 帧 从 一 个 节点 传送 到 相同 链 路 的 另 一 个 节点 。 

IP 地 址 和 MAC 地 址 一 般 是 成 对 出 现 的 。 如 果 一 台 计 算 机 要 和 网 络 中 另 一 台 计算 机 通 
信和 ,那么 这 两 台 设备 必须 配置 IP 地 址 和 MAC 地 址 ,而 MAC 地 址 是 网 卡 出 厂 时 设 定 的 ,这 
样 配置 的 IP 地 址 就 和 MAC 地 址 形成 了 一 种 对 应 关系 。 

在 数据 通信 时 .IP 地 址 负责 表示 计算 机 的 网 络 层 地 址 ,网 络 层 设备 (如 路 由 器 ) 根 据 IP 
地 址 来 进行 操作 ; MAC 地 址 负责 表示 计算 机 的 数据 链 路 层 地 址 ,数据 链 路 层 设备 ,根据 
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MAC 地 址 来 进行 操作 。IP 地 址 和 MAC 地 址 这 种 映射 关系 是 通过 地 址 解析 协议 (address 
resolution protocol,ARP) 来 实现 的 。 


3.6 Linux 系统 配置 IP 


Linux 操作 系统 安装 完毕 , 那 接 下 来 如 何 让 Linux 操作 系统 能 上 外 网 呢 ? 以 下 为 Linux 
服务 器 配置 IP 的 方法 。 

Linux 服务 器 网 卡 默认 配置 文件 在 /etc/sysconfig/network-scripts/ 下 ,命名 的 名 称 一 
般 为 ifcfg-eth0、ifcfg-ethl,eth0 表示 第 一 块 网 卡 ,ethl 表示 第 二 块 网卡 , 以 此 类 推 ,例如 
DELL R720 标 配 有 4 块 千 兆 网 卡 , 在 系统 显示 的 名 称 依次 为 eth0 .ethl .eth2 .eth3。 

修改 服务 器 网 卡 IP 地 址 命令 为 vi /etc/sysconfig/network-scripts/ifcfg-ethO QE 
CentOS 7 网 卡 名 为 ifcfg-eno16777736)。vi 编辑 网 卡 配置 文件 ,默认 为 DHCP 方式 ,配置 
如 下 : 


DEVICE = eth0 

BOOTPROTO = dhcp 

HWADDR = 00:0c:29:52:c7:4e 

ONBOOT = yes 

TYPE = Ethernet 

vi 编辑 网 卡 配置 文件 . 修改 BOOTPROTO Jj DHCP 方式 ,同时 添加 IPADDR, 
NETMASK,GATEWAY 信息 如 下 : 

DEVICE = eth0 

BOOTPROTO = static 

HWADDR 7 00:0c:29:52:c7:4e 

ONBOOT - yes 

TYPE = Ethernet 

IPADDR - 192.168.1.103 


NETMASK - 255.255.255.0 
GATEWAY - 192.168.1.1 


服务 器 网 卡 配 置 文件 ,详细 参数 如 下 : 

a DEVICE=eth0: 物理 设备 名 。 

a ONBOOT — yes: [yes|noj( 重 启 网 卡 是 否 激活 网 卡 设备 ) 。 

a BOOTPROTO= static: [none|static|bootp| dhcp]( 不 使 用 协议 | 静态 分 配 |BOOTP 
协议 |IDHCP 协议 )。 

TYPE=Ethernet; 网 卡 类 型 。 

IPADDR-— 192. 168. 1. 103, IP 地 址 。 

NETMASK —255. 255. 255.0: 子 网 掩 码 。 


D 


D 


D 
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a GATEWAY -—192.168.1. 1: 网 关 地 址 。 

服务 器 网 卡 配 置 完 毕 后 ,重启 网 卡 服 务 /etc/init. d/network restart 即 可 。 然 后 查看 IP 
地 址 ,命令 为 ifconfig 或 者 ip addr show 查看 当前 服务 器 所 有 网 卡 的 IP 地 址 。 

CentOS 7 Linux 中 ,如 果 没 有 ifconfig 命令 ,可 以 用 ip addr list/show 查看 ,也 可 以 安 
48 ifconfig 命令 , 需 安装 软件 包 net-tools, 命 令 如 下 ,详细 配置 如 图 3-9 所 示 。 


yum install net- tools -y 





图 3-9 YUM 安装 net-tools 工具 


3.7 Linux 系统 配置 DNS 








网 卡 IP 地 址 配置 完毕 后 ,如 果 服 务 器 需 上 外 网 ,还 需要 配置 域名 解析 地 址 (domain 
name system, DNS) ,DNS 主要 用 于 将 请 求 的 域名 转换 为 IP 地 址 ,DNS 地 址 配置 方法 如 下 : 
修改 vi/etc/resolv. conf 文件 ,加 入 如 下 两 行 代码 : 


nameserver 202.106.0.20 


nameserver 8.8.8.8 






上 述 语句 分 别 表示 主 DNS 与 备 DNS, DNS 配置 完毕 后 ,无 须 重启 网 络 服务 ,DNS 立即 生 
效 。 用 户 可 以 用 命令 ping -c6 www. baidu. com 查看 返回 结果 ,如 果 有 IP 返回 , 则 表示 
服务 器 DNS 配置 正确 ,如 图 3-10 所 示 








图 3-10 ping 命令 返回 值 
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3.8 Linux 网 卡 名 称 命名 


CentOS 7 服务 器 ,默认 网 卡 名 为 ifcfg-eno16777736 ,如 果 用 户 想 把 网 卡 名 改 成 ifcfg- 
eth0 , 按 如 下 步骤 操作 即 可 

(1) 编辑 /etc/sysconfig/grub 文件 ,命令 为 vi /etc/sysconfig/grub. EARS — T quiet 
后 加 入 如 下 代码 ,详细 配置 如 图 3-11 所 示 。 





net. ifnames = 0 biosdevname - 0 


GRUB_TIMEOU 
GRUB_DISTRIBUTOR="$(sed 
GRUB_DEFAULT=saved 
GRUB_DISABLE_SUBMENU=true 
GRUB_TERMINAL_OUTPUT 
GRUB. CMDLINE. LINU ñ ) biosdevnam 
GRUB_DISABLE_RE 


/etc/system-release)" 





11 网 卡 配置 ifnames 设置 





(2) 执行 命令 grub2-mkconfig -o /boot/grub2/grub. cfg, 生 成 新 的 grub. cle 文件 , 命 
令 如 下 ,详细 配置 如 图 3-12 所 示 


grub2 - mkconfig - o /boot/grub2/grub.cfg 


1inux 
initrd image: /boot 


faae5b91800f 


[root@localhost 





图 3-12 生成 新 的 grub. cnf 文件 


(3) 重 命 名 网 卡 名 称 , 执 行 命令 mv ifcfg-eno16777736 ifcfg-eth0 ,修改 ifcfg-etho 文件 
中 DEVICE= eno16777736 为 DEVICE= eth0, 如 图 3-13 所 示 


ifdown-isd ifup ifup-plip ifup-tun 
ifdown ifup-aliases ifup-plusb ifup-wire 
ifup-bnep ifup-post 
ifup-eth 
ifup-ib 


ifup-ippp 
ifup-ipv6 
ifup-is 


# nv 





图 3-13 重 命名 网 卡 名 称 
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(4) 重启 服务 器 ,并 验证 网 卡 名 称 是 否 为 eth0,Reboot 完成 后 ,如 图 3-14 所 示 。 


sc 
queuelen 1 (Ether 


5.1 KiB) 
overruns O frame 0 
499 (8 KiB 
ad O overruns 


INNING: mtu 
mask 255.0.0 
scopeid 0x10<host 





图 3-14 ”验证 网 卡 设备 名 称 


3.9 CentOS 7 密码 重 置 





需 登 录 ,执行 命令 passwd f Enter 键 即 可 ， 

但 是 如 果 忘 记 root 密码 ,无 法 登 ; FAN ol HEH root 用 户 的 密码 呢 ? 以 下 为 重 置 
root 用 户 密 码 的 方法 

(1) Reboot 重启 系 


CentOS Linux (3. 10. 0-: 








统 启 动 进入 欢迎 界面 ,加 载 内 核 步 又 时 , 按 王 键 , 然 后 选中 


] 3-15 所 示 





.el7. x86 6407 (Core) ME 





CentOS Linux € ) 7 (Core) 
tDS Li (8 EI Sh91888f) 7 (C 


and 4 keys to ch 


to edit the selected € for a command prompt 





图 3-15 ”内 核 菜单 选择 界面 





卖 按 E 键 进 入 编辑 模式 ,找到 ro crashkernel = auto xxx 项 ,将 ro 改 成 rw init 
sysroot/ bin/sh. 40 3-16 所 示 

(3) 修改 后 如 图 3-17 所 示 。 

(A) f Ctrl 十 X 键 进 入 单 用 户 模式 ,如 图 3-18 所 示 





|> 39 


40 <| 曝光 : Linux 企 业 运 维 实战 


insmod part_msdo 
insmod xfs 
set root='hd8, msdos1 
if L x$feature_platforn ch_hint = xy 
ch id et=root s=hd8, nsdosl --him 
-efi-hd8,Msdosi —hint-barewmetal-ahciB8,msdosi ——hint="hdg,msdos1 36ff9bf6-e 
jad4-46da-9bba-b9c7a89gfel 
else 
search —-no-flop ot 36ff9 a -9bba-b9c7 


j1f-c36c-4968-a5 
biosdevnane-B 


Press Ctrl-x to start, Ctrl-c for a command prompt or Escape to 
discard it nd return to the menu. Pre ing Tab list 
possible completions 





图 3-16 ”内 核 编辑 界面 


5f fübfG-eBa 


[ETT TET 日: 日 :时 :时 








图 3-18 进入 系统 单 用 户 模式 


(5) 执行 命令 chroot /sysroot 访问 系统 ,并 使 用 passwd 修改 root 密码 ,如 图 3-19 
所 示 o 

(6) 更 新 系统 信息 touch /. autorelabel. 执行 命令 touch /. autorelabel ,在 /目录 下 创建 
一 个 . autorelabel 文件 ,如 果 该 文件 存在 ， :重启 时 就 会 对 整个 文件 系统 进行 relabeling 
重新 标记 ,可 以 理解 为 对 文件 进行 底层 权限 的 控制 和 标记 ,如 果 SELinux 属于 disabled 关 
闭 状 态 则 不 需要 执行 这 条 命令 ,如 图 3-20 所 示 。 
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ü chroot /sysroot 
" 

" 

" passud root 

hanging password for user roo 


word 
WORD: The password i 





图 3-19 修改 root 用 户 密码 


fully 





图 3-20 创建 autorelabel 文件 


3.10 远程 管理 Linux 服务 器 


Linux 系统 安装 完毕 后 ,可 以 通 pls 工具 来 连接 到 Linux 服务 器 ,远程 连接 服务 器 管 
理 的 好 处 在 于 可 以 跨 地 区 管理 服务 器 ,例如 用 户 在 北京 理 的 服务 器 在 上 海 某 IDC 机 
房 ， inni 管理 ,不 需要 到 IDC "m 2; WLE RRE ,直接 通过 远程 工具 即 可 管理 服务 器 

远程 管理 Linux 服务 器 需要 满足 以 下 三 个 步骤 : 

(1) 服务 器 配置 IP 地 址 ,如 果 服 务 器 在 公 网 , 需 配 置 公 网 了 ,如 果 服 务 器 在 内 部 局 域 
网 ,可 以 直接 配置 内 部 私有 IP 即 可 。 

(2) 服务 器 安装 SSHD 软件 服务 并 启动 该 服务 ,几乎 所 的 Linux 服务 器 系统 
毕 均 会 自动 安装 并 启动 SSHD 服务 ,SSHD 服务 监听 22 端 ! 

(3) 在 服务 器 中 防火 墙 服务 需要 允许 22 端口 对 外 开放 ， m 者 可 以 临时 关闭 防火 墙 ， 
CentOS 6 Linux 关闭 防火 墙 的 命令 为 service iptables stop. ifj CentOS 7 Linux 关闭 防火 墙 
的 命令 为 systemctl stop firewalld. service 

常见 的 Linux 远程 管理 工具 包括 SecureCRT,Xshell,Putty, Xmanger 等 工具 。 目 前 主 
流 的 远程 管理 Linux 服务 器 工具 为 SecureCRT, 官 网 https: // www. vandyke. com 下 载 并 
安装 SecureCRT, 双 击 打开 , 单 击 左 上 和 角 quick connect 快速 连接 ,弹出 如 图 3-21 所 示 的 界 
面 ,连接 配置 具体 步骤 如 下 : 

a 协议 (P): 选择 SSH2; 











xac 
安装 完 
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主机 名 (H): 输入 Linux 服务 器 IP 地 址 ; 

端口 (0) : 输入 22; 

防火 墙 (F): 选择 None: 

用 户 名 (U) : 输入 root. 

单 击 下 方 的 “连接 ”按钮 ,会 提示 输入 密码 ,输入 root 用 户 对 应 密码 即 可 。 


a 
a 
a 
a 





139.224.227.121 


7 firn 
团 在 标 痊 页 中 打开 QD 


(sm J| ma 


图 3-21. SecureCRT 远程 Linux 服务 器 





(O epi ertet te) 





通过 SecureCRT 远程 连接 Linux 服务 器 之 后 ,如 图 3-22 所 示 界 面 ,与 服务 器 本 地 操作 
界面 一 样 ,在 命令 行 可 以 执行 命令 ,操作 结果 与 在 服务 器 现场 操作 是 一 样 的 。 


139.224.227.121 x 





| 3-22 SecureCRT 远程 Linux 服务 器 
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3.11 Linux 系统 目录 功能 


通过 以 上 知识 的 学 习 , 读 者 已 经 能 够 独立 安装 和 配置 Linux 服务 器 IP 并 实现 远程 连 
接 , 为 了 进一步 学 习 Linux, 需 熟练 掌握 Linux 系统 各 个 目录 的 功能 。 

Linux 主要 树 结构 目录 包括 /、/root、/home、/usr、/bin、/tmp、/sbin、/proc、/boot 等 ， 
图 3-23 所 示 为 典型 的 Linux 目录 结构 。 


/bin 
ri 























m Me ——ha 
init, d [seonñe 


dmisal lccnet 











































































































I 1 
bin | [xum] | share | local ] 
fyar I I I 1 


log lib spool run 


图 3-23 Linux 目录 树 形 结构 
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Linux 系统 中 常见 目录 功能 如 下 : 

/: 根 目录 ; 

/bin: 存放 必要 的 命令 ; 

/boot: 存放 内 核 以 及 启动 所 需 的 文件 ; 

/dev: 存放 硬件 设备 文件 ; 

/etc: 存放 系统 配置 文件 ; 

/home: 普通 用 户 的 宿主 目录 ,用 户 数据 存放 在 其 主 目录 中 ; 
/lib|lib64; 存放 必要 的 运行 库 ; 

/mnt: 存放 临时 的 映射 文件 系统 ,通常 用 来 挂 载 使 用 ; 

/ proc; 存放 存储 进程 和 系统 信息 ; 

/root; 超级 用 户 的 主 目录 ; 

/sbin: 存放 系统 管理 程序 ; 

/tmp: 存放 临时 文件 ; 

/usr: 存放 应 用 程序 ,命令 程序 文件 ,程序 库 .手册 和 其 他 文档 
/var: 系统 默认 日 志 存放 目录 。 


0 O O0 D DD D DD D DOD oo 


Linux £ $& áp — 








Linux 系统 启动 默认 为 字符 界面 ,一 般 不 会 启动 图 形 界面 ,所 以 应 对 命令 行 熟练 操作 ， 
以 便 更 加 高 效 地 管理 Linux 系统 

本 章 向 读者 介绍 Linux 系统 必 备 命令 各 项 参数 及 功能 场景 ,Linux 常见 命令 包括 cd, 
ls .pwd mkdir, rm cp .mv , touch cat, head, tail, chmod, chown, echo, df, du, vi/vim, vim 等 


4.1 cd 命令 详解 


cd 命令 主要 用 于 目录 切换 ,例如 cd /home 表示 切换 至 /home 目录 ,cd /root 表示 切换 
至 /root 目录 ,cd ../ 表 示 切 换 至 上 一 级 目录 ,cd . /表示 切换 至 当前 目录 。 其 中 “.” 和 “*,.” 可 
以 理解 为 相对 路 径 ,例如 cd . /test 表示 以 当前 目录 为 参考 ,表示 相对 于 当前 目录 ,而 cd / 


home/test 表示 完整 的 路 径 ,理解 为 绝对 路 径 , 如 图 4-1 所 示 





图 4-1 Linux cd 命令 操作 


4.2 ls 命令 详解 


ls 命令 主要 用 于 浏览 目录 下 的 文件 或 者 文件 夹 ,1s . /表示 查看 当前 目录 所 有 的 文件 和 
目录 ,ls -a 表示 查看 所 有 的 文件 ,包括 隐藏 文件 ,以 ”. 开头 的 文件 ,常用 参数 详解 如 下 : 





46 <| 曝光 : Linux 企 业 运 维 实战 


-a, --all: 不 隐藏 任何 以 ”. "开始 的 项 目 。 

-A, --almost-all: 列 出 除 “. ”及 *..” 以 外 的 任何 项 目 。 

--author: 与 -1 同时 使 用 时 列 出 每 个 文件 的 作者 。 

-b. --escape: 以 八进制 溢出 序列 表示 不 可 打印 的 字符 。 

a --block-size= K/h; 块 以 指定 大 小 的 字 节 为 单位 。 

a -B, --ignore-backups: 不 列 出 任何 以 "~ "字符 结束 的 项 目 。 

a -d. --directory: 当 遇 到 目录 时 列 出 目录 本 身 而 非 目 录 内 的 文件 。 
a -D. --dired: 产生 适合 Emacs 的 dired 模式 使 用 的 结果 。 

a -f: 不 进行 排序 ,-aU 选项 生效 ,-lst 选项 失效 。 








i. --inode: 显示 每 个 文件 的 inode 号 。 
I, --ignore- PATTERN; 不 显示 任何 符合 指定 shell PATTERN 的 项 目 。 
a -k: Hl--block-size— IKB 
1: 使 用 较 长 格式 列 出 信息 
a -n, --numeric-uid-gid; 类 似 -1, 但 列 出 UID 及 GID 号 
N, --literal: 输出 未 经 处 理 的 项 目 名 称 (如 不 特别 处 理 控 制 字符 )。 
r，--reverse: 排序 时 保留 顺序 
R. --recursive: 递归 显示 子 目录 
size; 以 块 数 形式 显示 每 个 文件 分 配 的 尺寸 
S: 根据 文件 大 小 排序 
t; 根据 修改 时 间 排 序 。 
u; 同 -lt 一 起 使 用 时 按照 访问 时 间 排 序 并 显示 , 同 -1 一 起 使 用 时 显示 访问 时 间 并 按 
文件 名 排序 ,其 他 情况 则 按照 访问 时 间 排 序 
a -U; 不 进行 排序 ,按照 目录 顺序 列 出 项 目 
a -v: 在 文本 中 进行 数字 (版 本 ) 的 自然 排序 


4.3 pwd 命令 详解 


pwd 命令 主要 用 于 显示 或 者 查看 当前 所 在 的 目录 路 径 , 如 图 4-2 所 示 。 


D D D D D 0 0 
n 





图 4-2 pwd 命令 查看 当前 目录 
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4.4 mkdir 命令 详解 


mkdir 命令 主要 用 于 创建 目录 ,用 法 为 mkdir dirname, 命 令 后 接 目录 的 名 称 ,常用 参数 
详解 如 下 : 

用 法 : mkdir [选项 ]... 目 录 。 若 指定 目录 不 存在 则 创建 目录 。 注 意 长 选项 必须 使 用 的 
参数 对 于 短 选项 时 也 是 必须 使 用 的 。 

a -m, --mode 王 模式 : 设置 权限 模式 (类 似 chmod) ,而 不 是 rwxrwxrwx 减 umask. 

B -p, --parents: 需要 时 创建 目标 目录 的 上 层 目录 ,但 即使 这 些 目 录 已 存在 也 不 当 作 错 

误 处 理 。 

a -v, --verbose: 每 次 创建 新 目录 都 显示 信息 。 

a -Z, --context= CTX; 将 每 个 创建 的 目录 的 SELinux 安全 环境 设置 为 CTX。 

a --help: 显示 此 帮助 信息 并 退出 。 

a --version: 显示 版 本 信息 并 退出 。 


4.5 rm 命令 详解 


rm 命令 主要 用 于 删除 文件 或 者 目录 ,用 法 为 rm -rf test.txt Cr 表示 递归 ,-{ 表示 强 
制 ), 常 用 参数 详解 如 下 : 

用 法 : rm [选项 ]... 文 件 … 删 除 Cunlink) 文 件 。 

a -f. --force: 强制 删除 ,忽略 不 存在 的 文件 ,不 提示 确认 。 

o -i: 在 删除 前 需要 确认 。 

a -I: 在 删除 超过 3 个 文件 或 者 递归 删除 前 要 求 确 认 , 此 选项 比 -i 提示 内 容 更 少 ,但 同 

样 可 以 阻止 大 多 数 错误 发 生 。 

a -r, -R, --recursive: 递归 删除 目录 及 其 内 容 。 

a -v, --verbose; 详细 显示 进行 的 步骤 。 

q --help: 显示 此 帮助 信息 并 退出 。 

a --version; 显示 版 本 信息 并 退出 。 

默认 时 ,rm 不 会 删除 目录 ,使 用 --recursive(-r 或 -R) 选 项 可 删除 每 个 给 定 的 目录 ,以 及 
其 下 所 有 的 内 容 。 要 删除 第 一 个 字符 为 ”的 文件 (例如 ”-foo”) ,请 使 用 以 下 方法 之 一 : 

rm -- -foo 


rm . /-foo 
4.6 cp 命令 详解 


cp 命令 主要 用 于 复制 文件 ,用 法 为 cp old.txt /tmp/new.txt, 常 用 来 备份 ,如 果 复 制 目 录 
需要 加 -r 参数 ,常用 参数 详解 如 下 : 
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用 法 : cp CHEWED... [-T] 源 文件 “目标 文件 

或 cp [选项 ]... 源 文件 .… 目 录 

或 cp [选项 ]... -t 目录 源 文件 .… 

作用 为 将 源 文件 复制 至 目标 文件 ,或 将 多 个 源 文件 复制 至 目标 目录 。 注 意 长 选项 必须 


使 用 的 参数 对 于 短 选项 时 也 是 必须 使 用 的 。 





a -a, --archive; 等 于 -dR --preserve 一 all。 

a --backupl — CONTROL. 为 每 个 已 存在 的 目标 文件 创建 备份 。 

a -b: 类 似 --backup ,但 不 接受 参数 。 

a --copy-contents; 在 递归 处 理 是 复制 特殊 文件 内 容 。 

q -d; 等 于 --no-dereference --preserve 一 links。 

a -f, --force; 如 果 目 标 文 件 无 法 打开 则 将 其 移 除 并 重 试 ( 当 -n 选项 存在 时 则 不 需 再 选 
此 项 )。 

-i, interactive: 覆盖 前 询问 (使 前 面 的 -mn 选项 失效 )。 

-H: 跟随 源 文件 中 的 命令 行 符号 链接 。 

-l. --link: 链接 文件 而 不 复制 。 

-L，--dereference: 总 是 跟随 符号 链接 。 

-n. --no-clobber; 不 要 覆盖 已 存在 的 文件 (使 前 面 的 -i 选项 失效 ) 。 

-P, --no-dereference; 不 跟随 源 文件 中 的 符号 链接 。 

-p: 等 于 --preserve 二 模式, 所有权, 时 间 截 。 

--preserve[ 一 属 性 列表 : 保持 指定 的 属性 (默认 : 模式 ,所 有 权 , 时 间 戳 ) ,如 果 可 能 保 
持 附加 属性 : 环境 、 链 接 xattr 等 。 

-c: 等 于 --preserve 一 context。 

--sno-preserve 一 属性 列表 : 不 保留 指定 的 文件 属性 。 

--parents: 复制 前 在 目标 目录 创建 来 源 文件 路 径 中 的 所 有 目录 。 

-R, -r, --recursive: 递归 复制 目录 及 其 子 目 录 内 的 所 有 内 容 。 
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4.7 mv 命令 详解 


mv 命令 主要 用 于 重 命名 或 者 移动 文件 或 者 目录 ,用 法 为 mv old.txt new.txt, 常 用 参数 


详解 如 下 : 





用 法 : mv [选项 ].… [-Tj 源 文件 目标 文件 

或 mv [选项 ]... 源 文件 .…. 目 录 

或 ”mv [选项 ]... -t 目 录 源 文件 

作用 为 将 源 文件 重 命名 为 目标 文件 ,或 将 源 文件 移动 至 指定 目录 。 注 意 长 选项 必须 使 














的 参数 对 于 短 选项 时 也 是 必须 使 用 的 。 
a --backup[ — CONTROL]: 为 每 个 已 存在 的 目标 文件 创建 备份 。 
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-b: 类 似 --backup, 但 不 接受 参数 。 

-f, --force: 覆盖 前 不 询问 。 

-i, --interactive; 覆盖 前 询问 。 

-n. --no-clobber; 不 覆盖 已 存在 文件 ,如 果 用 户 指定 了 -i\-f,-n 中 的 多 个 , 仅 最 后 一 
个 生效 。 

a --strip-trailing-slashes: 去 掉 每 个 源 文件 参数 尾部 的 斜 线 。 

a -S, suffix — SUFFIX: 替换 常用 的 备份 文件 后 级 。 

a -t, --target-directory - DIRECTORY ; 将 所 有 参数 指定 的 源 文件 或 目录 移动 至 指定 
目录 。 

-T, --no-target-directory ; 将 目标 文件 视 作 普通 文件 处 理 。 

-u. --update; 只 在 源 文件 文件 比 目 标 文件 新 或 目标 文件 不 存在 时 才 进 行 移动 。 
-v，--verbose: 详细 显示 进行 的 步骤 。 

--help: 显示 此 帮助 信息 并 退出 。 

--version: 显示 版 本 信息 并 退出 。 


4.8 touch 命令 详解 


touch 命令 主要 用 于 创建 普通 文件 ,用 法 为 touch testtxt, 如 果 文 件 存在 , 则 表示 修改 当 
前 文件 时 间 ,常用 参数 详解 如 下 : 

用 法 : touch DEW]... XPF... 

作用 为 将 每 个 文件 的 访问 时 间 和 修改 时 间 改 为 当前 时 间 。 不 存在 的 文件 将 会 被 创建 为 
空 文件 ,除非 使 用 -c 或 -h 选项。 如果 文件 名 为 ”-" 则 特殊 处 理 , 更 改 与 标准 输出 相关 的 文件 
的 访问 时 间 。 注 意 长 选项 必须 使 用 的 参数 对 于 短 选项 时 也 是 必须 使 用 的 。 

0 -a: 只 更 改 访问 时 间 。 
-c. --no-create; 不 创建 任何 文件 。 
-d,--date 二 字符 串 : 使 用 指定 字符 串 表 示 时 间 而 非 当 前 时 间 。 
-f: 忽略 。 
-h. --no-dereference: 会 影响 符号 链接 本 身 ,而 非 符号 链接 所 指示 的 目的 地 ( 当 系 统 
支持 更 改 符号 链接 的 所 有 者 时 ,此 选项 才 有 用 ) 。 
om: 只 更 改修 改 时 间 。 
-T，--reference 一 文件 : 使 用 指定 文件 的 时 间 属 性 而 非 当 前 时 间 。 
-t STAMP; 使 用 [LCC]YY]JMMDDhhmm[. ss] 格 式 的 时 间 而 非 当 前 时 间 。 
--time= WORD: 使 用 WORD 指定 的 时 间 。access atime, use 都 等 于 -a 选项 的 效 
果 , 而 modify, mtime 等 于 -m 选项 的 效果 。 
a --help: 显示 此 帮助 信息 并 退出 。 
a --version: 显示 版 本 信息 并 退出 。 
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a 
a 
a 
a 
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4.9 cat 命令 详解 


cat 命令 主要 用 于 查看 文件 内 容 , 用 法 为 cat test.txt, 可 以 查看 test.txt 内 容 , 常 用 参数 
详解 如 下 : 
用 法 : cat [选项 ].. [文件 ]... 
作用 为 将 [文件 ] 或 标准 输入 组 合 输出 到 标准 输出 。 

















-v, --show-nonprinting: 使 用 和 M- 引 用 ,除了 LFD 和 TAB 之 外 。 

--help: 显示 此 帮助 信息 并 退出 。 

--version: 显示 版 本 信息 并 退出 。 

cat 还 有 一 种 用 法 , 即 cat …EOF…EOF ,表示 追加 内 容 至 /tmpyVtesttxt 文件 中 ,用 法 如 下 : 


a -A, --show-all; 等 于 -vET。 

a -b, --number-nonblank; 对 非 空 输出 行 编号 。 
0 -e: 等 于 -vE。 

a -E, --show-ends; 在 每 行 结束 处 显示 “$”。 
a -n, --number: 对 输出 的 所 有 行 编号 。 

a -s, --squeeze-blank; 不 输出 多 行 空 行 。 

a -t: 与 -vT 等 价 。 

a -T, --show-tabs: 将 跳 格 字符 显示 为 ^I。 

a -u: 被 忽略 。 

a 

a 

a 


cat >>/tmp/test. txt << EOF 

My Name is JFEDU. NET 

I am From Bei jing. 

EOF 

cat testtxt | more 表示 分 页 显示 text 内 容 ,“| "符号 是 管道 符 ,用 于 把 “1” 前 的 输出 作为 
后 面 命令 的 输入 。more 命令 常用 于 分 页 查看 某 文件 或 者 内 容 。 


4.10 head 命令 详解 


head 命令 主要 用 于 查看 文件 内 容 , 通 常 查看 文件 前 10 行 ,head -10 /var/log/messages 
可 以 查看 该 文件 前 10 行 的 内 容 ,常用 参数 详解 如 下 : 

用 法 : head [选项 ].… [文件 ]… 

作用 为 将 每 个 指定 文件 的 头 10 行 显示 到 标准 输出 。 如 果 指 定 了 多 于 一 个 文件 ,在 每 一 
段 输出 前 会 给 出 文件 名 作为 文件 头 ; 如 果 不 指定 文件 .或 者 文件 为 *-”, 则 从 标准 输入 读 取 
数据 。 注 意 长 选项 必须 使 用 的 参数 对 于 短 选项 时 也 是 必须 使 用 的 。 

a -q. --quiet, --silent: 不 显示 包含 给 定 文件 名 的 文件 头 。 
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-v. —verbose: 总 是 显示 包含 给 定 文件 名 的 文件 头 。 

--help: 显示 此 帮助 信息 并 退出 。 

--version: 显示 版 本 信息 并 退出 。 

-c, -—bytes=[-]K; 显示 每 个 文件 的 前 K 字 节 内 容 , 如 果 附 加 ”参数 , 则 除了 每 个 
文件 的 最 后 K 字 节 数据 外 显示 剩余 全 部 内 容 。 

q -n, -ines—[-]K: 显示 每 个 文件 的 前 K 行 内容 ,如 果 附 加 “-” 参 数 , 则 除了 每 个 文件 
的 最 后 K 行 外 显示 剩余 全 部 内 容 。 


4.11 tail 命令 详解 


tail 命令 主要 用 于 查看 文件 内 容 , 通 常 查看 末尾 10 行 ,用 tail -fn 100 /var/log/messages 可 
以 实时 查看 该 文件 末尾 100 行 的 内 容 ,常用 参数 详解 如 下 : 

用 法 : tail [选项 ].… [文件 ]… 

作用 为 显示 每 个 指定 文件 的 最 后 10 行 到 标准 输出 。 若 指定 了 多 于 一 个 文件 ,程序 会 在 
每 段 输出 的 开始 添加 相应 文件 名 作为 头 。 如 果 不 指定 文件 或 文件 为 *-”, 则 从 标准 输入 读 取 
数据 。 注 意 长 选项 必须 使 用 的 参数 对 于 短 选项 时 也 是 必须 使 用 的 。 
-n, --lines- K; 输出 的 总 行 数 ,默认 为 10 fT. 
-q, --quiet, --silent: 不 输出 给 出 文件 名 的 头 。 
--help: 显示 此 帮助 信息 并 退出 。 
--version: 显示 版 本 信息 并 退出 。 
-f, --follow[ = (name|descriptor;) ]; 即时 输出 文件 变化 后 追加 的 数据 。 
-f, --follow: 4 F--follow= descriptor. 


D oo O 


-F: Hll--follow — name -retry。 


-c, bytes Ks 输出 最 后 K 字 节 , 另 外 ,使 用 -c 十 K 从 每 个 文件 的 第 K 字 节 输出 。 
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4.12 chmod 命令 详解 


chmod 命令 主要 用 于 修改 文件 或 者 目录 的 权限 .例如 chmod o 十 w — testtxt IRT test. 
txt 其 他 人 w 写 权限 ,常用 参数 详解 如 下 : 

用 法 : chmod [选项 ]..…. 模 式 [ .模式 ]... 文 件 .… 

或 chmod [选项 ]... 八 进 制 模式 文件 .… 

或 chmod [选项 ]... --reference 二 参考 文件 Xt... 

作用 为 将 每 个 文件 的 模式 更 改 为 指定 值 。 

a -c. --changes: 类 似 --verbose, 但 只 在 有 更 改 时 才 显 示 结 果 。 

a --no-preserve-root: 不 特殊 对 待 根 目录 (默认 ) 。 

a --preserve-root: 禁止 对 根 目 录 进 行 递归 操作 。 
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-f, --silent, --quiet: 去 除 大 部 分 的 错误 信息 。 

-R, —recursive: 以 递归 方式 更 改 所 有 的 文件 及 子 目 录 。 

--help: 显示 此 帮助 信息 并 退出 。 

--version; 显示 版 本 信息 并 退出 。 

-v. —-verbose: 为 处 理 的 所 有 文件 显示 诊断 信息 。 

--reference 一 参考 文件 : 使 用 指定 参考 文件 的 模式 ,而 非 自 行 指定 权限 模式 。 


4.13 chown 命令 详解 
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chown 命令 主要 用 于 文件 或 者 文件 夹 属 主 及 属 组 的 修改 ,命令 格式 例如 chown -R 
root. root / tmp/test.txt ,表示 修改 test.txt 文件 的 用 户 和 组 均 为 root, 常 用 参数 详解 如 下 : 
用 法 : chown [选项 ]... [所 有 者 ][:[ 组 ]] 文件 .… 
或 chown [选项 ]... --reference 王 参考 文件 “文件 .… 
作用 为 更 改 每 个 文件 的 所 有 者 和 所 属 组 。 当 使 用 --referebce 参数 时 ,将 文件 的 所 有 者 
和 所 属 组 更 改 为 与 指定 参考 文件 相同 。 
a -f, --silent, --quiet: 去 除 大 部 分 的 错误 信息 。 
--reference 一 参考 文件 : 使 用 参考 文件 的 所 属 组 ,而 非 指定 值 。 
-R, --recursive; 递归 处 理 所 有 的 文件 及 子 目录 。 
-Y，--verbose: 为 处 理 的 所 有 文件 显示 诊断 信息 。 
Hy 命令 行 参数 是 一 个 通 到 目录 的 符号 链接 , 则 遍历 符号 链接 。 
-L: 遍历 每 一 个 遇 到 的 通 到 目录 的 符号 链接 。 
-P: 遍历 任何 符号 链接 (默认 ) 。 
--help: 显示 帮助 信息 并 退出 。 
--version: 显示 版 本 信息 并 退出 。 


4.14 echo 命令 详解 
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echo 命令 主要 用 于 打印 字符 或 者 回 显 , 例 如 输入 echo ok, 会 显示 ok,echo ok > test.txt 
则 会 把 ok 字符 覆盖 test.txt 内 容 .。“>” 表 示 覆 盖 , 原 内 容 被 覆盖 ,>>” 表 示 追 加 , 原 内 容 不 
变 。 例 如 echo ok >> test.txt, 表 示 向 test.txt 文件 追加 ok 字符 ,不 覆盖 原文 件 里 的 内 容 , 常 
用 参数 详解 如 下 : 

使 用 -e 扩展 参数 选项 时 ,与 如 下 参数 一 起 使 用 .有 不 同 含义 。 

a \a: 发 出 警告 声 。 

a Nb: 删除 前 一 个 字符 。 

a Ve: 最 后 不 加 上 换行 符号 。 

a M; 换行 但 光标 仍旧 停留 在 原来 的 位 置 。 
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a \n: 换行 且 光 标 移 至 行 首 。 

a Vr 光标 移 至 行 首 ,但 不 换行 。 

o \t; 插入 tab, 

a Av; 与 \{ 相同 。 

a AN: 插入 “\” 字 符 。 

a echo 打印 带 颜色 字符 ,常用 参数 如 下 : 
30m 黑色 字 \033[0m 












33[0m 
绿色 字 No33L[0m 
黄色 字 NO33[0m 
蓝 色 字 \033[0m 
紫色 字 \033[0m 
\033[36m 天 蓝 字 \033[0m 
\033[37m 白色 字 N033[0m 

让 白字 N033[0m 

红 底 白字 \033[0m 

绿 底 白 字 NO33[0m 

黄 底 白字 \033[0m 

X 白字 N033[0m 

紫 底 白字 \033[0m 

天 蓝 底 白字 N033[0m 

)m 白 底 黑 字 \033[0m 

echo 颜色 打印 扩展 ,auto_lamp_v2. sh 内 容 如 下 : 














echo - e "N033[ 36mP1ease Select Install Menu follow: N033[ 0m" 
echo - e "N033[ 32m1) Install Apache ServerV033[ 1m" 

echo "2) Install MySQL Server" 

echo "3) Install PHP Server" 

echo "4)Configuration index.php and start LAMP server" 

echo - e "\033[31mUsage: ( /bin/sh $0 1|2|3|4|help}\033[0m" 


执行 结果 如 图 4-3 所 示 








图 4-3 echo -e 颜色 打印 
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4.15 df 命令 详解 


df 命令 常用 于 磁盘 分 区 查询 ,常用 命令 df -h, 查 看 磁盘 分 区 信息 ,常用 参数 详解 如 下 : 
用 法 : df [选项 ].… [文件 ]… 

作用 为 显示 每 个 文件 所 在 的 文件 系统 的 信息 ,默认 是 显示 所 有 文件 系统 。 注 意 长 选项 
必须 使 用 的 参数 对 于 短 选项 时 也 是 必须 使 用 的 。 

a -a, --all: 显示 所 有 文件 系统 的 使 用 情况 ,包括 虚拟 文件 系统 。 

a -B, --block-size= SIZE: 使 用 字 节 大 小 块 。 

a -h, --human-readable; 以 人 们 可 读 的 形式 显示 大 小 (例如 1KB,234MB,2GB) 。 

a -H, --si; 同 -h, 但 是 强制 使 用 1000 而 不 是 1024, 

a -i, --inodes: 显示 inode 信息 而 非 块 使 用 量 。 

a -k: 即 --block-size=1KB. 

a -1, --local; 只 显示 本 机 的 文件 系统 。 

a --no-sync: 取得 使 用 量 数据 前 不 进行 同步 动作 (默认 ) 。 

a -P, --portability: 使 用 POSIX 兼容 的 输出 格式 。 

a --sync: 取得 使 用 量 数据 前 先进 行 同步 动作 。 

O -t, --type 王 类 型 : 只 显示 指定 文件 系统 为 指定 类 型 的 信息 。 

a -T, --printtype; 显示 文件 系统 类 型 。 

o -x，--exclude-type 一 类 型 : 只 显示 文件 系统 不 是 指定 类 型 信息 。 

a 

a 






































--help: 显示 帮助 信息 并 退出 。 
--version: 显示 版 本 信息 并 退出 。 


4.16 du 命令 详解 


du 命令 常用 于 查看 文件 在 磁盘 中 的 使 用 量 , 常 用 命令 du -sh, 查 看 当前 目录 所 有 文件 
及 文件 及 的 大 小 ,常用 参数 详解 如 下 : 

用 法 : du [选项 ].… [文件 ]..… 

或 du [选项 ]... --files0-from=F 

作用 为 计算 每 个 文件 的 磁盘 用 量 , 目 录 则 取 总 用 量 。 注 意 长 选项 必须 使 用 的 参数 对 于 
短 选项 时 也 是 必须 使 用 的 。 

a -a, all; 输出 所 有 文件 的 磁盘 用 量 ,不 仅仅 是 目录 。 

O --apparent-size: 显示 表面 用 量 ,而 并 非 是 磁盘 用 量 ,虽然 表面 用 量 通常 会 小 一 些 , 但 

有 时 它 会 因为 稀疏 文件 间 的 “ 洞 ”、 内 部 碎片 、 非 直接 引用 的 块 等 原因 而 变 大 。 
a -B, --block-size 王 大 小 : 使 用 指定 字 节 数 的 块 。 
a -b. --bytes: 等 于 --apparent-size --block-size=1. 
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-c, --total: 显示 总 计 信 息 。 
-H: 等 于 --dereference-args (-D). 
7h. --human-readable; 以 可 读 性 较 好 的 方式 显示 尺寸 (例如 1KB、234MB、2GB)。 
--si: 类 似 -h, 但 在 计算 时 使 用 1000 为 基底 而 非 1024. 
-k: 等 于 --block-size 王 1KB。 
-l, --count-links: 如 果 是 硬 链接 ,就 多 次 计算 其 尺寸 。 
-m: 4 F--block-size= 1MB. 
-L. --dereference: 找 出 任何 符号 链接 指示 的 真正 目的 地 。 
-P. --no-dereference: 不 跟随 任何 符号 链接 (默认 ) 。 
-0,，--null: 将 每 个 空 行 视 作 0 字 节 而 非 换行 符 。 
-S, --separate-dirs; 不 包括 子 目录 的 占用 量 。 
-s, --summarize: 只 分 别 计算 命令 列 中 每 个 参数 所 占 的 总 用 量 。 
-x. --one-file-system; 跳 过 处 于 不 同文 件 系 统 之 上 的 目录 。 
-X, --exclude-from= X fF: 排除 与 指定 文件 中 描述 的 模式 相符 的 文件 。 
-D. --dereference-args: 解除 命令 行 中 列 出 的 符号 连接 。 
--files0-from=F; 计算 文件 F 中 以 NUL 结尾 的 文件 名 对 应 占用 的 磁盘 空间 ,如 果 下 
的 值 是 *-”, 则 从 标准 输入 读 入 文件 名 。 
以 上 为 Linux 初学 者 必 备 命令 ,当然 Linux 命令 还 有 很 多 ,后 面 章节 会 随时 学 习 新 的 
命令 。 


4.17 vi/vim 编辑 器 实战 


vi 是 一 个 命令 行 界面 下 的 文本 编辑 工具 ,最 早 在 1976 年 由 Bill Joy 开发 ,当时 名 称 为 
ex, vi 支持 绝 大 多 数 操作 系统 (最 早 在 BSD 上 发 布 ) ,并 且 功 能 已 经 十 分 强大 。1991 年 
Bram Moolenaar 基于 vi 进行 改进 ,发 布 了 vim ,并 加 入 了 对 GUI 的 支持 。 

随 着 vim 更 新 发 展 ,vim 已 经 不 是 普通 意义 上 的 文本 编辑 器 ,而 是 被 广泛 地 应 用 在 文本 
编辑 、 方 本 处 理 、 代 码 开 发 等 用 途 ,Linux 中 主流 的 文本 编辑 器 包括 vi vim, sublime, emacs, 
light table eclipse, gedit 等 。 

vim 强大 的 编辑 能 力 中 很 大 部 分 是 来 自 于 其 普通 模式 命令 。vim 的 设计 理念 是 命令 的 
组 合 。 例 如 : 

a 5dd: 5 表示 总 共 5 行 ,删除 光标 所 在 后 的 5 行 ,包含 光标 行 。 

a d$; “$ ”代表 行 尾 .删除 到 行 尾 的 内 容 , 包 含 光 标 。 

a 2yy: 表示 复制 光标 及 后 2 行 ,包括 光标 行 。 

a %d:“% ”代表 全 部 或 者 全 局 ,“%d” 表 示 删 除 文本 所 有 的 内 容 , 也 即 是 清空 文档 所 有 

的 内 容 。 
vim 是 一 个 主流 开源 的 编辑 器 .在 shell 终端 执行 vim 命令 ,会 打开 编辑 器 ,同时 会 显示 
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帮助 乌干达 贫困 的 孩子 画面 :如 图 4-4 vim 与 键盘 键 位 功能 对 应 关系 。 


00 


Ese] vi / vim graphical cheat sheet 
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图 4-4 vim 与 键盘 位 置 对 应 关系 


4.18 vim 编辑 器 模式 


vim 编辑 器 模式 常用 有 三 种 ,分别 为 : 

a 命令 行 模式 ; 

9 文本 输入 模式 ， 

a 末 行 模式 。 

vim 是 vi 的 升级 版 本 , 它 是 安装 在 Linux 操作 系统 中 的 一 个 软件 ,官网 为 www. vim. 
org, fE Linux shell 终端 下 默认 执行 vim 命令 , 按 Enter 键 后 : 

a 默认 进入 命令 行 模式 ; 

O 在 命令 行 模式 按 I 键 进入 文本 输入 模式 ; 

a 按 Esc 键 进入 命令 行 模式 ; 

O 按 : 键 进入 末 行 模式 。 


4.19 vim 编辑 器 必 备 


vim 编辑 器 最 强大 的 功能 就 在 于 内 部 命令 及 规则 使 用 ,以 下 为 vim 编辑 器 最 常用 的 语 
法 及 规则 。 

9 命令 行 模式 : 可 以 删除 .复制 粘贴 .撤销 ,可 以 切换 到 输入 模式 ,输入 模式 跳 转 至 命 
令 行 模式 , 按 Esc 键 。 常 用 命令 详解 如 下 : 

yy: 复制 光标 所 在 行 。 

nyy: 复制 n 行 。 

3yy: 复制 3 行 。 
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pP 粘贴 。 

yw: 复制 光标 所 在 的 词组 ,不 会 复制 标点 符号 。 
3yw: 复制 三 个 词组 。 

u; 撤销 上 一 次 。 

U: 撤销 当前 所 有 。 

dd: 删除 整 行 。 

ndd: 删除 n 行 。 

x: 删除 一 个 字符 。 

u: 逐 行 撤销 。 

dw: 删除 一 个 词组 。 

ai 从 光标 所 在 字符 后 一 个 位 置 开始 录入 。 
A: 从 光标 所 在 行 的 行 尾 开始 录入 。 

is 从 光标 所 在 字符 前 一 个 位 置 开始 录入 。 

I: 从 光标 所 在 行 的 行 首开 始 录入 。 

o: 跳 至 光标 所 在 行 的 下 一 行 行 首开 始 录入 。 
O: 跳 至 光标 所 在 行 的 上 一 行 行 首开 始 录入 。 
R: 从 光标 所 在 位 置 开 始 替 换 。 
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a 末 行 模式 主要 功能 包括 查找 ,替换 、 末 行 保存 、 退 出 等 。 常 用 命令 详解 如 下 : 


sW; 保存 。 

:q: 退出 。 

:s/x/y: 替换 1 行 。 

:wq: 保存 退出 。 

l.5sx/y: # 1,5 行 。 

:wql: 强制 保存 退出 。 

1. $sx/y: 从 第 一 行 到 最 后 一 行 。 
qal: 强制 退出 。 

iX: 保存 。 

/word: 从 前 往 后 找 , 正 向 搜索 。 
? word: 从 后 往 前 找 , 反 向 搜索 。 
:S/old/new/g: 将 old 替换 为 new ,前提 是 光标 一 定 要 移 到 那 一 行 。 


:S/old/new: 将 这 一 行 中 的 第 一 次 出 现 的 old 替换 为 new, 只 替换 第 一 个 。 


:1, $s/old/new/g: 第 一 行 到 最 后 一 行 中 的 old 替换 为 new, 
:1,2,3s/old/new/g: 第 一 行 第 二 行 第 三 行 中 的 old HH new. 
vim +2 jfedu.txt: 打开 jfedutxt 文件 .并 将 光标 定位 在 第 二 行 。 

vim 十 /string jfedu.txt: 打开 jfedu.txt 文件 ,并 搜索 关键 词 。 
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本 章 小 结 


通过 对 本 章 内 容 的 学 习 , 读 者 对 Linux 操作 系统 引导 有 了 进一步 的 理解 ,能 够 快速 解决 
Linux 启动 过 程 中 的 故障 ,同时 学 习 了 CentOS 6 与 CentOS 7 系统 的 区 别 ,理解 了 TCP/IP 
协议 及 IP 地 址 相关 基础 内 容 。 

学 会 了 Linux 初学 者 必 备 的 Linux 命令 ,能 使 用 命令 熟练 的 操作 Linux 系统 ,通过 对 
vim 编辑 器 的 深入 学 习 , 能 够 熟练 编辑 .修改 系统 中 任意 的 文本 及 重要 的 配置 文件 。 对 
Linux 系统 的 认识 及 操作 有 了 更 进一步 的 飞跃 。 


同步 作业 


1. 修改 密码 的 命令 为 passwd, 需 要 按 Enter 键 两 次 ,如 何 一 条 命令 快速 修改 密码 呢 ? 

2. 企业 服务 器 , 某 天 发 现 系统 访问 很 慢 , 需 要 查看 系统 内 核 日 志 , 请 写 出 查看 系统 内 核 
日 志 的 命令 。 

3. 如 何在 Linux 系统 /tmp 目录 快速 创建 1000 个 目录 ,目录 为 jfedul . jfedu2 ,jfedu3---*-- 
以 此 类 推 ,不断 增加 。 

4. httpd. conf 配置 文件 中 存在 很 多 以 并 号 开头 的 行 ,请 使 用 vim 相关 指令 删除 并 开头 
的 行 。 


m Linux 用 户 及 权限 管理 








Linux 是 一 个 多 用 户 的 操作 系统 ,引入 用 户 , 可 以 更 加 方便 地 管理 Linux 服务 器 。 系 统 
默认 需要 以 一 个 用 户 的 身份 登入 ,而 且 在 系统 上 启动 进程 也 需要 以 一 个 用 户 身 份 启动 运行 ， 
用 户 可 以 限制 某 些 进程 对 特定 资源 的 权限 控制 。 

本 章 向 读者 介绍 Linux Ato FR OEM GAP AE. AP RRA, R 
限 配 置 及 特殊 权限 等 内 容 。 


5.1 Linux 用 户 及 组 


Linux 操作 系统 对 多 用 户 的 管理 是 非常 烦琐 的 ,所 以 用 组 的 概念 来 管理 用 户 就 变 得 简 
A ,每 个 用 户 可 以 在 一 个 独立 的 组 ,每 个 组 也 可 以 有 零 个 用 户 或 者 多 个 用 户 。Linux 系统 用 
户 是 根据 用 户 ID 来 识别 的 ,默认 ID 长 度 为 32 位 ,默认 ID 编号 从 0 开始 ,但 是 为 了 和 老式 
系统 兼容 ,用户 ID 限制 在 60000 AF. Linux 用 户 总 共 分 为 三 种 ,分 别 如 下 : 

a root 用 户 (ID 0); 

a 系统 用 户 (ID 1~499); 

a 普通 用 户 (ID 500 ME). 

Linux 系统 中 的 每 个 文件 或 者 文件 夹 , 都 有 一 个 所 属 用 户 及 所 属 组 ,使 用 id 命令 可 以 
显示 当前 用 户 的 信息 ,使 用 passwd 命令 可 以 修改 当前 用 户 密码 。Linux 操作 系统 用 户 的 特 
点 如 下 : 

a 每 个 用 户 拥 有 一 个 UserID ,操作 系统 实际 读 取 的 是 UID, 而 非 用 户 名 ; 

a 每 个 用 户 属 于 一 个 主 组 ,属于 一 个 或 多 个 附属 组 .一 个 用 户 最 多 有 31 个 附属 组 ; 

a 每 个 组 拥有 一 个 GroupID; 

a 每 个 进程 以 一 个 用 户 身份 运行 ,该 用 户 可 对 进程 拥有 资源 控制 权限 ; 

a 每 个 可 登录 用 户 拥有 一 个 指定 的 shell 环境 。 
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5.2 Linux 用 户 管 理 


Linux 用 户 在 操作 系统 中 可 以 进行 日 常 管理 和 维护 ,涉及 的 相关 配置 文件 如 下 : 
a /etc/passwd: 保存 用 户 信息 。 
a /etc/shdaow:; 保存 用 户 密码 (以 加 密 形 式 保 存 ) 。 
a /etc/group: 保存 组 信息 。 
a /etc/login. defs: 用 户 属性 .密码 过 期 时 间 、 密 码 最 大 长 度 等 限制 。 
a /etc/default/useradd; 显示 或 更 改 默 认 的 useradd 配置 文件 。 
如 需 创 建新 用 户 , 可 以 使 用 命令 useradd ,执行 命令 useradd jfedul 即 可 创建 jfedul 用 
户 , 同 时 会 创建 一 个 同名 的 组 jfedul ,默认 该 用 户 属于 jfedul 主 组 。 
useradd jfedul 命令 默认 创建 用 户 jfedul ,会 根据 如 下 步骤 进行 操作 : 
a 在 /etc/passwd 文件 中 添加 用 户 信息 ; 
a 如 使 用 passwd 命令 创建 密码 ,密码 会 被 加 密 保存 在 /etc/shdaow H s 
为 jfedul 创建 家 目录 /home/jfedul; 
将 /etc/skel 中 的 . bash 开头 的 文件 复制 至 /home/jfedul 家 目录 ; 
创建 与 用 户 名 相同 的 jfedul 组 ,jfedul 用 户 默认 属于 jfeudl 同名 组 
jfedul 组 信息 保存 在 /etc/group 配置 文件 中 。 
在 使 用 useradd 命令 创建 用 户 时 ,可 以 支持 以 下 参数 : 
-b. --base-dir BASE DIR; 指定 新 账户 的 家 目录 。 
-c, --comment COMMENT; 新 账户 的 GECOS 字段 。 
-d, --home-dir HOME DIR: 新 账户 的 主 目录 。 
-D. --defaults; 显示 或 更 改 默 认 的 useradd 配置 。 
-e, --expiredate EXPIRE DATE: 新 账户 的 过 期 日 期 。 
-Í, --inactive INACTIVE: 新 账户 的 密码 不 活动 期 。 
-g. --gid GROUP: 新 账户 主 组 的 名 称 或 ID. 
-G. --groups GROUPS; 新 账户 的 附加 组 列表 。 
-h. --help: 显示 此 帮助 信息 并 退出 。 
-k. --skel SKEL_DIR: 使 用 此 目录 作为 骨架 目录 。 
-K. --key KEY — VALUE; 不 使 用 /etc/login. defs 中 的 默认 值 。 
-l, --no-log-init; 不 要 将 此 用 户 添加 到 最 近 登 录 和 登录 失败 数据 库 。 
-m, --create-home; 创建 用 户 的 主 目录 。 
-M, --no-create-home; 不 创建 用 户 的 主 目录 。 
-N. --no-user-group: 不 创建 同名 的 组 。 
-o. --non-unique: 允许 使 用 重复 的 UID 创建 用 户 。 
-p, --password PASSWORD: 加 密 后 的 新 账户 密码 。 


ooo DO 
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-r, --system: 创建 一 个 系统 账户 。 

-R. --root CHROOT_DIR: chroot 到 的 目录 。 

-s，--shell SHELL: 新 账户 的 登录 shell. 

-u. --uid UID: 新 账户 的 用 户 ID. 

-U. --user-group: 创建 与 用 户 同名 的 组 。 

-Z, --selinux-user SEUSER; 为 SELinux 用 户 映射 使 用 指定 SEUSER, 
useradd 案例 演示 : 

CD 新 建 jfedu 用 户 ,并 加 入 到 jfedul ,jfedu2 附属 组 : 


useradd - G jfedul, jfedu2 jfedu 


(2) 新 建 jfedu3 用 户 ,并 指定 新 的 家 目录 ,同时 指定 其 登录 的 shell; 


useradd jfedu3 -d /tmp/ - s /bin/sh 
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5.3 Linux 组 管理 


所 有 的 Linux 或 者 Windows 系统 都 有 组 的 概念 ,通过 组 可 以 更 加 方便 地 管理 用 户 。 组 
的 概念 应 用 于 各 种 行业 ,例如 企业 会 使 用 部 门 . 职 能 或 地 理 区 域 的 分 类 方式 来 管理 成 员 , 映 
射 在 Linux 系统 ,同样 可 以 创建 用 户 ,并 用 组 的 概念 对 其 管理 。 

Linux 组 管理 有 如 下 特点 : 

a 每 个 组 有 一 个 组 ID: 

a 组 信息 保存 在 /etc/group 中 ; 

a 每 个 用 户 至 少 拥有 一 个 主 组 ,同时 还 可 以 拥有 31 个 附属 组 。 

通过 命令 groupadd, groupdel, groupmod 来 对 组 进行 管理 ,详细 参数 使 用 如 下 。 

groupadd 用 法 : 

a -f. --force: 如 果 组 已 经 存在 则 成 功 退出 ,并 且 如 果 GID 已 经 存在 则 取消 -g。 

a -g. -gid GID; 为 新 组 使 用 GID. 

a -h, --help: 显示 此 帮助 信息 并 退出 。 

a -K, --key KEY — VALUE: 不 使 用 /etc/login. defs 中 的 默认 值 。 

a -o. --nor-unique: 允许 创建 有 重复 GID 的 组 。 

a -p. --password PASSWORD: 为 新 组 使 用 此 加 密 过 的 密码 。 

a -r, --system; 创建 一 个 系统 账户 。 

groupmod 用 法 : 

a -g. --gid GID; 将 组 ID 改 为 GID。 

a -h, --help: 显示 此 帮助 信息 并 退出 。 

a -n, --new-name NEW GROUP; 改名 为 NEW_GROUP。 

a -o. --non-unique: 允许 使 用 重复 的 GID. 
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a -p, --password PASSWORD: 将 密码 更 改 为 (加 密 过 的 ) PASSWORD. 
groupdel 用 法 : 

9 groupdel jfedu: 删除 jfedu 组 。 

groupadd 案例 演示 : 

(1) groupadd 创建 jingfeng 组 : 


groupadd jingfeng 

(2) groupadd 创建 jingfeng 组 ,并 指定 GID 为 1000: 
groupadd - g 1000 jingfeng 

(3) groupadd 创建 一 个 system 组 ,名 为 jingfeng 4: 
groupadd - r jingfeng 


groupmod 案例 演示 : 
(1) groupmod 修改 组 名 称 , 将 jingfeng ZH Z mM jingfengl: 


groupmod - n jingfengl jingfeng 
(2) groupmod 修改 组 GID 号 ,将 原 jingfeng] 组 gid 改 成 gid 1000; 


groupmod - g 1000 jingfengl 


5.4 Linux 用 户 及 组 案例 


useradd 主要 用 于 新 建 用 户 ,而 用 户 新 建 完毕 ,可 以 使 用 usermod 来 修改 用 户 及 组 的 属 


性 ,以 下 为 usermod 详细 参数 。 


除 此 


用 法 : usermod [选项 ] 登录 

常用 选项 如 下 : 

a -c, --comment; 注释 GECOS 字段 的 新 值 。 

-d. --home HOME DIR: 用 户 的 新 主 目录 。 

-e. --expiredate EXPIRE DATE: 设 定 账户 过 期 的 日 期 为 EXPIRE_DATE。 

-f, --inactive INACTIVE; 过 期 INACTIVE 天 数 后 , 设 定 密码 为 失效 状态 。 

-g. --gid GROUP; 强制 使 用 GROUP 为 新 主 组 。 

-G. --groups GROUPS; 新 的 附加 组 列表 GROUPS, 

-a. --append GROUP: 将 用 户 追 加 至 上 边 -G 中 提 到 的 附加 组 中 ,并 不 从 其 他 组 中 删 




















a -h, --help: 显示 此 帮助 信息 并 退出 。 
a -l. --login LOGIN; 新 的 登录 名 称 。 
a -L. --lock: 锁定 用 户 账 号 。 
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-m, --move-home: 将 家 目录 内 容 移 至 新 位 置 ( 仅 与 -d 一 起 使 用 ) 。 

-o. --non-unique: 允许 使 用 重复 的 ( 非 唯一 的 ) UID. 

-Pp，--password PASSWORD: 将 加 密 过 的 密码 (PASSWORD) 设 为 新 密码 。 
-R. --root CHROOT_DIR: chroot 到 的 目录 。 

-s，--shell SHELL: 该 用 户 账号 的 新 登录 shell 环境 。 

-u, --uid UID; 用 户 账号 的 新 UID, 

-U. --unlock: 解锁 用 户 账 号 。 

-Z, --selinux-user SEUSER: 用 户 账户 的 新 SELinux 用 户 映 射 。 

Usermod 案例 演示 : 

CD 将 jfedu 用 户 属 组 修改 为 jfedul ,jfedu2 附属 组 : 


usermod - G jfedul, jfedu2 jfedu 

(2) 将 jfedu 用 户 加 入 到 jfedu3 ,jfedu4 附属 组 ,-a 为 添加 新 组 , 原 组 保留 : 
usermod -a -G jfedu3, jfedu4 jfedu 

(3) 修改 jfedu 用 户 , 并 指定 新 的 家 目录 ,同时 指定 其 登录 的 shell; 
usermod - d /tmp/ - s /bin/sh jfedu 

(4) 将 jfedu 用 户 名 修改 为 jfedul: 

usermod - 1 jfedul jfedu 

(5) 锁定 jfedul 用 户 及 解锁 jfedul 用 户 方法 : 

usermod - L jfedul; usermod - U jfedul 


userdel 案例 演示 : 

使 用 userdel 可 以 删除 指定 用 户 及 其 用 户 的 邮箱 目录 或 者 SELinux 映射 环境 ,详细 参 
数 如 下 : 

o userdel jfedul; 保留 用 户 的 家 目录 。 

a userdel -r jfedul; 删除 用 户 及 用 户 家 目录 ,用 户 login 系统 无 法 删除 。 

a userdel -rf jfedul: 强制 删除 用 户 及 该 用 户 家 目录 ,不 论 是 否 login 系统 。 


0D 0 O0 DD UO oO 


5.5 Linux 权限 管理 


Linux 权限 是 操作 系统 用 来 限制 对 资源 访问 的 机 制 ,: 权 限 一 般 分 为 读 、 写 执行。 系统 
中 每 个 文件 都 拥有 特定 的 权限 、 所 属 用 户 及 所 属 组 ,通过 这 样 的 机 制 来 限制 哪些 用 户 或 用 户 
组 可 以 对 特定 文件 进行 相应 的 操作 。 

Linux 每 个 进程 都 是 以 某 个 用 户 身份 运行 ,进程 的 权限 与 该 用 户 的 权限 一 样 ,用 户 的 权 
限 越 大 , 则 进程 拥有 的 权限 就 越 大 。 
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Linux 中 有 的 文件 及 文件 夹 都 有 至 少 三 种 权限 ,常见 的 权限 如 表 5-1 所 示 。 
表 5-1 Linux 文 件 及 文件 夹 的 权限 




















K R 对 文件 的 影响 对 目录 的 影响 

r( 读 取 ) 可 读 取 文 件 内 容 可 列 出 目录 内 容 

wCS A) 可 修改 文件 内 容 可 在 目录 中 创建 删除 内 容 
x( 执 行 ) 可 作为 命令 执行 可 访问 目录 内 容 





目录 必须 拥有 x 权限 ,否则 无 法 查看 其 内 容 





Linux 权限 授权 ,默认 是 授权 给 三 种 角色 ,分 别 是 user、group、other,Linux 权限 与 用 户 
之 间 的 关联 如 下 : 

OU 代表 user,G 代表 group. O 代表 other; 

a 每 个 文件 的 权限 基于 UGO 进行 设置 ; 

a 权限 三 位 一 组 (rwx) ,同时 需 授权 给 三 种 角色 , 即 UGO; 

a 每 个 文件 拥有 一 个 所 属 用 户 和 所 属 组 ,对 应 UGO ,不 属于 该 文件 所 属 用 户 或 所 属 组 

使 用 O 来 表示 。 

在 Linux 系统 中 ,可 以 通过 1s -1 查看 jfedu. net 目录 的 详细 属性 ,目录 如 下 ,详细 属性 如 

图 5-1 所 示 o 


drwxrwxr -x 2 jfedul jfedul 4096 Dec 10 01:36 jfedu.net 


UGO 


drwxrwxr- x 2 jfedu1 jfedu1 4096 Dec 10 01:36 jfedu.net 
/ / | | | | 


/ / \ | | | 
UGO 链接 数量 ”所属 用 户 MRA Kh 时 间 文件 名 


tU d 
文件 类 型 URR G 权 限 OBUR 
图 5-1 Linux jfedu. net 目录 详细 属性 


jfedu. net 目录 属性 参数 详解 如 下 : 

a d: 表示 目录 ,同一 位 置 如 果 为 “-* 则 表示 普通 文件 。 

a rwxrwxr-x; 表示 三 种 角色 的 权限 ,每 三 位 为 一 种 角色 ,依次 为 U,G,O 权限 ,如 上 则 
表示 user 的 权限 为 rwx.group HALRA rwx. other 的 权限 为 rx. 

q 2: 表示 文件 夹 的 链接 数量 ,可 理解 为 该 目录 下 子 目录 的 数量 。 

a jfedul: 从 左 到 右 , 第 一 个 jfedul 表示 该 用 户 名 ,第 二 个 jfedul 则 为 组 名 ,其 他 人 角 
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色 默 认 不 显示 。 
a 4096; 表示 该 文件 夹 占据 的 字 节 数 。 
a Dec 10 01:36; 表示 文件 创建 或 者 修改 的 时 间 。 
a jfedu. net; 表示 目录 名 或 者 文件 名 。 


5.6 chown RERBA 


修改 某 个 用 户 、 组 对 文件 夹 的 属 主 及 属 组 ,用 命令 chown 实现 ,案例 演示 如 下 。 
CD 修改 jfedu. net 文件 夹 所 属 的 用 户 为 root, 其 中 -R 参数 表示 递归 处 理 所 有 的 文件 及 
fH: 


chown - R root jfedu. net 

(2) 修改 jfedu. net 文件 夹 所 属 的 组 为 root: 

chown -R :root jfedu. net 或 者 chgrp -R root jfedu. net 

(3) 修改 jfedu. net 文件 夹 所 属 的 用 户 为 root, 组 也 为 root: 


chown -R root:root jfedu. net 


5.7 chmod 用 户 及 组 权限 


修改 某 个 用 户 、 组 对 文件 夹 的 权限 ,用 命令 chmod 实现 ,其 中 以 代 指 UGO“, ”“-”“ =” 
代表 加 入 .删除 和 等 于 对 应 权限 ,具体 案例 如 下 : 
COD 授予 用 户 对 jfedu. net 目录 拥有 rwx 权限 : 


chmod -R u + rwx jfedu. net 

(2) 授予 组 对 jfedu. net 目录 拥有 rwx EUR 

chmod -R g + rwx jfedu. net 

(3) 授予 用 户 .组 .其 他 人 对 jfedu. net 目录 拥有 rwx 权限 : 
chmod -R u+ rwx, g + rwx, o + rwx jfedu. net 

(4) 撤销 用 户 对 jfedu. net 目录 拥有 w BUR : 

chmod -R u- w jfedu. net 

C5) 撤销 用 户 2 BAX jfedu. net 目录 拥有 x 权限: 


chmod -Ru-x,g- x,o- x jfedu. net 
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(6) 授予 用 户 ,组 .其 他 人 对 jfedu. net 目录 只 有 rx 权限 : 














chmod -Ru-rx,g-7 rx,o- rx jfedu. net 


5.8 chmod 二 进 制 权限 


Linux 权限 默认 使 用 rwx 来 表示 ,为 了 更 简化 在 系统 中 对 权限 进行 配置 和 修改 ,Linux 
权限 引入 二 进 制 表示 方法 ,代码 如 下 。 

Linux 权限 可 以 将 rwx 用 二 进 制 来 表示 ,其 中 有 权限 用 1 表示 ,没有 权限 用 0 表示 。 

Linux 权限 用 二 进 制 显 示 如 下 : 


rwx- 111 

r-x-101 
rw--110 
r--- 100 


以 此 类 推 ,转化 为 十 进 制 ,对 应 十 进 制 结果 显示 如 下 : 


rwx=111=4+2+1=7 
r-x=101=4+0+1=5 
rw-=110=4+4+0=6 
r---100-4*0*0-4 


得 出 结论 ,用 r=4.w=2,x=1 来 表示 权限 。 

使 用 二 进 制 方式 来 修改 权限 案例 演示 如 下 (其 中 默认 jfedu. net 目录 权限 为 755) ， 
CD 授予 用 户 对 jfedu. net 目录 拥有 rwx 权限 : 

chmod - R 755 jfedu. net 

(2) 授予 组 对 jfedu. net 目录 拥有 rwx BUR : 

chmod -R 775 jfedu.net 

(3) 授予 用 户 ,组 ,其 他 人 对 jfedu. net 目录 拥有 rwx 权限 : 
chmod - R 777 jfedu.net 

(4) 撤销 用 户 对 jfedu. net 目录 拥有 w BUR : 

chmod -R 555 jfedu. net 

(5) 撤销 用 户 .组 .其 他 人 对 jfedu. net 目录 拥有 x 权限 : 
chmod - R 644 jfedu. net 

(6) 授予 用 户 、 组 .其 他 人 对 jfedu. net 目录 只 有 rx 权限 : 


chmod -R 555 jfedu. net 
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5.9 Linux RA FR I T f 


Linux 权限 除了 常见 的 rwx 权限 之 外 ,还 有 很 多 特殊 的 权限 ,细心 的 读者 会 问 ,为 什么 
Linux 目录 默认 权限 为 755 ,而 文件 默认 权限 为 644 呢 ? 这 是 因为 Linux 权限 掩 码 umask 

每 个 Linux 终端 都 拥有 一 个 umask 属性 ,umaks 属性 可 以 用 来 确定 新 建文 件 . 目 录 的 
默认 权限 ,默认 系统 权限 掩 码 为 022。 在 系统 中 每 创建 一 个 文件 或 者 目录 ,文件 默认 权限 是 
666 ,而 目录 权限 则 为 777 ,权限 对 外 开放 比较 大 ,所 以 设置 了 权限 掩 码 之 后 ,默认 的 文件 和 
目录 权限 减 去 umask 值 才 是 真实 的 文件 和 目录 的 权限 。 具 体 说 明 如 下 : 

a 对 应 目录 权限 为 777 一 022 王 755; 

a 对 应 文件 权限 为 666 一 022 一 644; 

a 执行 umask 命令 可 以 查看 当前 默认 的 掩 码 ,通过 umask -S 023 可 以 设置 默认 的 权限 

掩 码 。 
在 Linux 权限 中 ,除了 普通 权限 外 ,还 有 如 表 5-2 所 示 的 三 个 特殊 权限 。 


表 5-2 Linux 三 种 特殊 权限 





权限 对 文件 的 影响 对 目录 的 影响 
suid 以 文件 的 所 属 用 户 身份 执行 ， x 
i 而 非 执行 文件 的 用 户 
sgid | 以 文件 所 属 组 身份 去 执行 在 该 目录 中 创建 任意 新 文件 的 所 属 组 与 该 目录 的 所 属 组 相同 


对 目录 拥有 写 人 权限 的 用 户 仅 可 以 删除 其 拥有 的 文件 ,无 法 
删除 其 他 用 户 所 拥有 的 文件 











sticky | 无 








Linux 中 设置 特殊 权限 方法 如 下 : 

a 设置 suid: chmod u 十 s jfedu. net, 

a 设置 sgid: chmod g 十 s jfedu. net. 

o 设置 sticky: chmod o 十 t jfedu. net. 

特殊 权限 与 设置 普通 权限 一 样 , 可 以 使 用 数字 方式 表示 : 

a suid=4; 

a sgid—2; 

a sticky=1。 

可 以 通过 chmod 4755 jfedu. net 对 该 目录 授予 特殊 权限 为 s 的 权限 ,Linux 系统 中 s 
限 的 应 用 常见 包括 su、passwd、sudo, 如 图 5-2 Bro 。 
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/usr/bin/sudo 





本 章 小 结 





通过 对 本 章 内 容 的 学 习 , 读 者 可 以 了 解 Linux 用 户 和 组 的 系统 知识 ,同时 掌 
户 和 组 在 系统 中 各 种 案例 操作 ; 可 以 熟练 新 建 用 户 、 删 除 用 户 .修改 用 户 属性 、 
组 以 及 删除 组 


同步 作业 


Jë Linux 用 
添加 组 、 修 改 









1. 某 互联 网 公司 职能 及 员工 信息 表 如 表 5-3 所 示 ,请 在 Linux 系统 中 创建 相关 员工 ， 
并 把 员工 加 入 到 部 门 


表 5-3 Linux 用 户 和 组 管理 




















部 门 职 能 
讲师 部 (teacher) jfwu.jfcai 
市 场 部 (market) jfxin ,jfqi 
管理 部 (manage) jfedu, jfteach 
运 维 部 (operater) jfhao.jfyang 





2. 批量 创建 1 一 100 个 用 户 . 用 户 名 以 jfedu 开头 ,后 面 紧 跟 1、2、3, 例 如 jfedul .jfedu2. 








3. 使 用 useradd 创建 用 户 并 通过 -p 参数 指定 密码 , 设 定 完 密码 需 通 过 系统 能 正常 验证 


. 小 王公 司 服务 器 ,使 用 root 用 户 通过 SecureCRT 远程 登录 后 ,如 图 5-3 Bros 
终端 变 成 bash-4. 14 ,这 是 什么 原因 导致 的 以 及 如 何 修复 为 正常 的 登录 shell 环境 ? 请 
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图 5-3 SecureCRT 登录 Linux 系统 界面 





" Linux 软件 包 企 业 实 战 








通过 前 几 章 的 学 习 , 读 者 掌握 了 Linux 系统 基本 命令 、 用 户 及 权限 等 知识 。Linux 整个 
体系 的 关键 不 在 于 系统 本 身 , 而 是 基于 Linux 系统 去 安装 和 配置 企业 中 相关 的 软件 ,数据 及 
应 用 程序 ,所 以 对 软件 的 维护 是 运 维 工程 师 职 责 的 重 中 之 重 。 

本 章 向 读者 介绍 Linux 系统 软件 的 安装 .卸载 \. 配 置 . 维 护 以 及 如 何 构建 企业 本 地 
YUM 光盘 源 及 HTTP 本 地 源 等 内 容 。 


6.1 RPM 软件 包 管 理 


Linux 软件 包 从 内 容 上 可 分 为 二 进 制 包 (binary code) 和 源码 包 (source code) ,不 同类 
别 的 软件 包 使 用 的 管理 工具 也 各 不 相同 。 源 码 包 是 没有 经 过 编译 的 包 , 需 要 经 过 GCC, 
C++ 编译 器 环境 编译 才能 运行 ,二 进 制 包 无 须 编 译 , 可 以 直接 安装 使 用 。 

通常 而 言 ,可 以 通过 后 级 区 别 源码 包 和 二 进 制 包 .例如 以 , tar. gz、. zip、 rar 结尾 的 包 称 
之 为 源码 包 , 以 . rpm 结尾 的 软件 包 称 之 为 二 进 制 包 。 真 正 区 分 是 否 为 源码 包 还 是 二 进 制 包 
还 得 基于 软件 包 里 面 的 文件 来 判断 ,例如 包含 . h.. cs. cpp、 cc 等 结尾 的 源码 文件 , 称 之 为 
源码 包 , 而 代码 里 面 存在 bin 可 执行 文件 , 称 之 为 二 进 制 包 。 

CentOS 操作 系统 中 有 一 款 默认 软件 管理 的 工具 , 即 红 帽 包 管理 工具 (red hat package 
manager. RPM) , 

使 用 RPM 工具 可 以 对 软件 包 实 现 快速 安装 、 管 理 及 维护 。RPM 管理 工具 适用 的 操作 
系统 包括 CentOS, Red Hat, Fedora, SUSE 等 ,RPM 工具 常用 于 管理 以 . rpm 后 组 结尾 的 软 
件 包 。 

RPM 包 命名 格式 如 下 : 

name-version. rpm 


name-version-noarch. rpm 


name-versior-arch. src. rpm 
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如 下 软件 包 格式 : 


epel-release-6-8. noarch. rpm 
perl-Pod-Plainer-1. 03-1. e16. noarch. rpm 
yasm-1.2.0-4.e17.x86 64.rpm 


RPM 包 格 式 解析 如 下 : 

2 name: 软件 名 称 ,例如 yasm、perl-pod-Plainer。 

a version: 版 本 号 ,1. 2. 0 通用 格式 为 “ 主 版 本 号 .次 版 本 号 .修正 号 ”, 其 中 4 表示 发 布 
版 本 号 ,意味 着 该 RPM 包 是 第 几 次 编译 生成 的 。 

a arch: 适用 的 硬件 平台 .RPM 支持 的 平台 有 1386,1586,1686, x86. 64, sparc,alpha 等 。 

o rpm; 后 缀 包 表示 编译 好 的 二 进 制 包 , 可 用 rpm 命令 直接 安装 。 

a .src.rpm: 源 代 码 包 ,源码 编译 生成 . rpm 格式 的 RPM 包 方 可 使 用 。 

a elx; 软件 包 发 行 版 本 ,el6 表示 该 软件 包 适 用 于 RHEL 6. X/CentOS 6.X。 

Q devel: 开发 包 。 

a noarch: 软件 包 可 以 在 任何 平台 上 安装 。 

RPM 工具 命令 详解 如 下 : 

a ca, --all; 查询 所 有 已 安装 软件 包 。 

a -q.--query: 表示 询问 用 户 ,输出 信息 。 

a -l, --list; 打印 软件 包 的 列表 。 

a -f, --file: file 查询 包含 file 的 软件 包 。 

a -i, info: 显示 软件 包 信息 ,包括 名 称 ,版 本 、 描 述 。 

a -v, --verbose; 打印 输出 详细 信息 。 

a -U, --upgrade; 升级 RPM 软件 包 。 

q -h,--hash: 软件 安装 ,可 以 打印 安装 进度 条 。 

q --last; 列 出 软件 包 时 ,以 安装 时 间 排 序 , 最 新 的 在 上 面 。 

a -e, --erase: H RPM 软件 包 。 

a --force; 表示 强制 ,强制 安装 或 者 印 载 。 

a --nodeps: RPM 包 不 依赖 。 

a -l. --list: 列 出 软件 包 中 的 文件 。 

a --provides; 列 出 软件 包 提供 的 特性 。 

a -R. --requires: 列 出 软件 包 依赖 的 其 他 软件 包 。 

a --scripts: 列 出 软件 包 自 定义 的 小 程序 。 

RPM 企业 案例 演示 : 

a rpm -q httpd: 检查 httpd 包 是 否 安 装 。 

a rpm -ql httpd: 查看 软件 安装 的 路 径 。 

a rpm -qi httpd: 查看 软件 安装 的 版 本 信息 。 
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rpm -e httpd: H$ httpd 软件 。 

rpm -e --nodeps httpd: 强制 卸载 httpd. 

rpm -qa| grep httpd: 检查 httpd 相关 的 软件 是 否 安 装 。 

rpm -ivh httpd-2. 4. 10-el7. x86_64. rpm; 安装 httpd 软件 。 

rpm -Uvh httpd-2. 4. 10-el7. x86_64. rpm: 升级 httpd 软件 。 

rpm -ivh --nodeps httpd-2. 4. 10-el7. x86_64. rpm; 不 依赖 其 他 软件 包 。 


6.2 tar 软件 包 管 理 


Linux 操作 系统 除了 使 用 RPM 管理 工具 对 二 进 制 软件 包 管理 之 外 ,还 可 以 通过 tar、 
zip jar 等 工具 对 源码 包 软 件 进行 管理 。 


6.2.1 tar 命令 参数 详解 


tar 命令 参数 详解 如 下 : 

-A, --catenate, --concatenate; 将 存档 与 已 有 的 存档 合并 。 

-c, --create: 建立 新 的 存档 。 

-d. --diff, --compare: 比较 存档 与 当前 文件 的 不 同 之 处 。 
--delete: 从 存档 中 删除 。 

-r, --append; 附加 到 存档 结尾 。 

-t, -list: 列 出 存档 中 文件 的 目录 。 

-u, --update; 仅 将 较 新 的 文件 附加 到 存档 中 。 

-x, --extract, --get: 解压 文件 。 

-Jj，--bzip2,--bunzip2: 有 bz2 属性 的 软件 包 。 
-z，--gzip，--ungzip: 有 gz 属性 的 软件 包 。 

-b. --block-size N: 指定 块 大 小 为 Nx 512 字 节 (默认 时 N—200. 
-B. --read-full-blocks: 读 取 时 重组 块 。 

-C, --directory DIR: 指定 新 的 目录 。 

--checkpoint: 读 取 存档 时 显示 目录 名 。 

-f, --file [HOSTNAME:]F: 指定 存档 或 设备 ,后 接 文件 名 称 。 
--force-local; 强制 使 用 本 地 存档 ,即使 存在 克隆 。 

-G. --incremental; 建立 老 GNU 格式 的 备份 。 

-g, --listed-incremental; 建立 新 GNU 格式 的 备份 。 

-h. --dereference: 不 转 储 动态 链接 . 转 储 动态 链接 指向 的 文件 。 
-i, --ignore-zeros: 忽略 存档 中 的 0 字 节 块 (通常 意味 着 文件 结束 )。 
--ignore-failed-read; 在 不 可 读 文件 中 作 0 标记 后 再 退出 。 

-k. --keep-old-files: 保存 现 有 文件 ,从 存档 中 展开 时 不 进行 覆盖 。 


D O D OD UD 


DOoooooooooooooooooo D OD 
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a -K. --starting-file F; 从 存档 文件 F 开始 。 

a -l, --one-file-system: 在 本 地 文件 系统 中 创建 存档 。 

a -L. --tape-length N; f£j À N * 1024 个 字 节 后 暂停 ,等 待 更 换 磁盘 。 
a -m, --modification-time: 当 从 一 个 档案 中 恢复 文件 时 ,不 使 用 新 的 时 间 标 签 。 
a -M, --multi-volume; 建立 多 卷 存档 ,以 便 在 几 个 磁盘 中 存放 。 

a -O, --to-stdout: 将 文件 展开 到 标准 输出 。 

a -P, --absolute-paths: 不 要 从 文件 名 中 去 除 “/”。 

a -v, --verbose: 详细 显示 处 理 的 文件 。 

Q --version; 显示 tar 程序 的 版 本 号 。 

a --exclude; file 不 把 指定 文件 包含 在 内 。 

a -X, --exclude-from FILE: 从 指定 文件 中 读 入 不 想 包含 的 文件 列表 。 


6.2.2 tar 企业 案例 演示 


tar 企业 案例 演示 如 下 : 

a tar-cvf jfedu. tar. gz jfedu: 打包 jfedu 文件 或 者 目录 ,打包 后 名 称 为 jfedu. tar. gz. 

a tar-tf jfedu. tar. gz: 查看 jfedu. tar. gz 包 中 内 容 。 

a tar-rf jfedu. tar. gz jfedu.txt: 将 jfedutxt 文件 追加 到 jfedu. tar. gz 中 。 

a tar-xvf jfedu. tar. gz: 解压 jfedu. tar. gz 程序 包 。 

a tar-czvf jfedu. tar. gz jfedu; 使 用 gzip 格式 打包 并 压缩 jfedu 目录 。 

a tar-cjvf jfedu. tar. bz2 jfedu; 使 用 bzip2 格式 打包 并 压缩 jfedu 目录 。 

a tar-czf jfedu. tar. gz * -X list.txt: 使 用 gzip 格式 打包 并 压 当 前 目录 所 有 文件 ,排除 
list'txt 中 记录 的 文件 。 

tar-czf jfedu, tar. gz * --exclude=zabbix-3. 2. 4. tar. gz - -exclude = nginx-1. 12. 0. 
tar. gz: 使 用 gzip 格式 打包 并 压缩 所 有 文件 和 目录 ,排除 zabbix-3. 2. 4. tar. gz 和 
nginx-1. 12. 0. tar. gz 软件 包 。 


6.2.3 tar 实现 Linux 操作 系统 备份 


tar 命令 工具 除了 用 于 日 常 打包 、 解 压 源 码 包 之 外 ,最 大 的 亮点 还 可 以 用 于 Linux 操作 
系统 文件 及 目录 的 备份 。 使 用 tar -g 可 以 基于 GNU 格式 做 增 量 备份 ,备份 原理 是 检查 目 
录 和 文件 的 atime、mtime、ctime 属性 是 否 被 修改 。 文 件 及 目录 时 间 属 性 详解 如 下 : 

a 文件 被 访问 的 时 间 (access time.atime) ; 

a 文件 内 容 被 改变 的 时 间 (modified time, mtime) ; 

a 文件 写 入 、 权 限 更 改 的 时 间 (change time.ctime) . 

总 结 : 更 改 文件 内 容 mtime 和 ctime 都 会 改变 ,但 ctime 可 以 在 mtime 未 发 生变 化 时 被 
更 改 。 例 如 修改 文件 权限 文件 mtime 时 间 不 变 而 ctime 时 间 改 变 。tar 增 量 备份 案例 演示 
步骤 如 下 : 


D 
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(D /root 目录 创建 jingfeng 文件 夹 , 同 时 在 jingfeng 文件 夹 中 新 建 jf1.txt、jf2.txt X 
件 ,如 图 6-1 所 示 。 





图 6-1 创建 jingfeng 目录 及 文件 





(2) 使 用 tar 命令 第 备份 jingfeng 文件 夹 ,-g 指 
没有 该 文件 则 会 自动 创建 ,如 图 6-2 所 示 


快照 snapshot 文件 ,第 一 次 





cd /root/jingfeng/ 
tar - g /data/backup/snapshot - czvf /data/backup/2017jingfeng. tar. gz 


jing 
jingfen 


11 /data/backup. 





图 6-2 tar 备份 jingfeng 目录 中 文件 





(3) 使 用 tar 命令 第 一 次 完整 备份 jingfeng 文件 夹 会 生成 快照 文件 /data/backup/ 
snapshot, 后 期 增 量 备份 会 以 snapshot 文件 为 参考 。 在 jingfeng 文件 夹 中 再 创建 jf3.txt、 
jf4.txt 文件 ,然后 再 通过 tar 命令 增 量 备份 jingfeng 文件 夹 所 有 内 容 , 如 图 6-3 所 示 。 

cd /root/jingfeng/ 

touch jf3. txt jf4. txt 

tar - g /data/backup/snapshot - czvf /data/backup/2017jingfeng addl.tar.gz * 

如 图 6-3 所 示 , 增 量 备份 时 需 -g 指定 第 一 次 完整 备份 的 快照 snapshot 文件 ,同时 增 量 
打包 的 文件 名 不 能 与 第 一 次 备份 后 的 文件 名 重 名 ,通过 tar -tf 可 以 查看 打包 后 的 文件 
内 容 。 
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data/backup 





图 6-3 tar 增 量 备份 jingfeng 目录 中 文件 


6.2.4 shell 十 tar 实现 增 量 备份 


企业 中 日 常备 份 的 数据 包括 /boot /ete,/root,/data 
周 六 执行 增 量 备份 ,每 周 日 执行 全 备份 。 在 企业 中 备份 操作 A 
成 ,此 处 auto_backup_system. sh 备份 脚本 供 参 考 。 后 面 章 节 
内 容 如 下 : 





日 录 。 备 份 的 策略 为 每 周一 至 
数据 均 使 用 shell 脚本 完 
讲解 shell 脚本 ,脚本 








# ! /bin/bash 
# Automatic Backup Linux System Files 
# By Author www. jfedu. net 
# Def ine Variables 
SOURCE DIR- ( 
$x 
) 
TARGET_DIR = /data/backup/ 





MONTH = ‘date + %m* 
DAY = ‘date + &d^ 
WEEK = ‘date + %u° 
FILES = system_backup. tgz 
CODE= $? 
if 
[ -z SSOURCE DIR ]; then 
echo - e "Please Enter a File or Directory You Need to Backup:\n 
一 一 一 一 -一 一 一 一 -一 \nExample $0 /boot /etc 


exit 
fi 
# Determine Whether the Target Directory Exists 
if 
[ ! -d $TARGET DIR/SYEAR/SMONTH/SDAY ]; then 
mkdir — p $TARGET DIR/SYEAR/SMONTH/SDAY 
echo "This $TARGET DIR Created Successfully !" 
fi 


# EXEC Full Backup Function Command 
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Full Backup() 
{ 
if 

[ "SWEEK" -eq "7" ]; then 

rm — rf $TARGET_DIR/snapshot 

cd S$TARGET DIR/SYEAR/SMONTH/SDAY ; tar - g $TARGET DIR/snapshot - czvf $FILES 'echo 
${SOURCE_DIR[@]}' 

["$CODE" == "0" J&&echo — e " ------------------------------------------- 
—\nFull_Backup System Files Backup Successfully !" 
fi 
} 
# Perform incremental BACKUP Function Command 
Add Backup() 
{ 

cd $TARGET_DIR/SYEAR/$MONTH/SDAY ; 





if 
[ -£ $TARGET DIR/SYEAR/SMONTH/SDAY/SFILES ]; then 
read - p " $FILES Already Exists, overwrite confirmation yes or no ? : " SURE 
if [ $SURE == "no" -o $SURE == "n" J; then 
sleep 1; exit 0 
fi 
# Add Backup Files System 
if 


[ $WEEK -ne "7" ]; then 
cd $TARGET DIR/SYEAR/SMONTH/SDAY ; tar - g $TARGET_DIR/snapshot - czvf $$ $FILES 
"echo ${SOURCE_DIR[@]}' 


[ "$CODE" == "0" ]&&echo - e" ---------------------------------------- 
~\nAdd_Backup System Files Backup Successfully !" 
fi 
else 
if 


[ $WEEK - ne "7" ]; then 
cd STARGET DIR/SYEAR/SMONTH/SDAY ; tar — g $TARGET_DIR/snapshot — czvf $FILES 'echo $ 
{SOURCE_DIR[ @ ]}' 
人 
— XnAdd Backup System Files Backup Successfully !" 
fi 
fi 
) 
Full Backup; Add Backup 


6.3 zip 软件 包 管 理 


Zip 是 计算 机 文件 的 压缩 的 算法 ,原名 deflate CHS). 42 WI EO AE RUE + CR 2E (Phil 
Katz), (bF 1989 年 1 月 公布 了 该 格式 的 资料 。zip 软件 包 命名 后 缀 通常 使 用 zip. 
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主流 的 压缩 格式 包括 tar rar.zip.war.gzip.bz2.iso 等 。 性 能 上 tar, war, rar 格式 比 zip 
格式 压缩 率 较 高 ,但 压缩 时 间 远 远 高 于 zip. zip 工具 可 以 实现 对 zip 包 进 行 管理 ,也 可 以 将 
文件 和 文件 夹 打包 成 zip 包 。zip 工具 打包 常见 参数 详解 如 下 : 
a -f; 只 更 改 文件 。 
0 -u: 只 更 改 或 更 新 文件 。 
a -d: 从 压缩 文件 删除 文件 。 
o -m: 将 条 目 移动 到 zipfile( 删 除 OS 文件 ) 。 
a -r: 递归 到 目录 。 
a -j; junk( 不 记录 ) 目 录 名 。 
a -1; 将 LF 转换 为 CR LF(—11 CR LF—LF), 
0 -1: 压缩 更 快 ,1 一 9 压缩 更 好 。 
a -q: 安静 操作 ,不 输出 执行 的 过 程 
ü -v; verbose 操作 /打印 版 本 信息 。 
: 添加 一 行 注释 
z: 添加 zipfile 注释 。 
o: 读 取 名 称 使 zip 文件 与 最 新 条 目 一 样 旧 
x: 不 包括 以 下 名 称 
F: 修复 zipfile(-FF 尝试 更 难 ) 
: 不 要 添加 目录 条 目 
T; 测试 zip 文件 完整 性 
X; eXclude,eXtra 文件 属性 
e: 加 密 “-”, 不 要 压缩 这 些 后 缀 
h2: 显示 更 多 的 帮助 
Zip 企业 案例 演示 : 
(1) 通过 zip 工具 打包 jingfeng 文件 夹 中 所 有 内 容 , 如 图 6-4 所 示 。 


D 








D D D D D BD D 0 0 


zip - rv jingfeng. zip /root/jingfeng/ 





图 6-4 zip 工具 对 jingfeng 目录 打包 备份 
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(2) 通过 zip 工具 打包 jingfeng 文件 夹 中 所 有 内 容 并 排除 部 分 文件 ,如 图 6-5 所 示 。 


zip -rv jingfeng.zip * - x jfl.txt 
zip - rv jingfeng.zip * - x jf2. txt - x jf3. txt 





图 6-5 zip Xf jingfeng 目录 打包 备份 ,排除 部 分 文件 
(3) 通过 zip 工具 删除 jingfeng. zip 中 jf3.txt 文件 ,如 图 6-6 所 示 


zip jingfeng.zip - d jf3.txt 





图 6-6 unzip 对 jingfeng 目录 解压 
(4) 通过 unzip 工具 解压 jingfeng. zip 文件 ,如 图 6-6 所 示 


unzip jingfeng. zip 
unzip jingfeng.zip - d /data/backup/ 


注意 : 可 以 用 -d 指定 解压 后 的 目录 


6.4 源码 包 软件 安 装 


通常 使 用 RPM 工具 管理 以 . rpm 结尾 的 二 进 制 包 ,而 标准 的 以 . zip、. tar 结尾 的 源 代码 
包 则 不 能 使 用 RPM 工具 去 安装 、 印 载 及 升级 码 包 安装 有 以 下 三 个 步骤 : 
a ./configure; 预 编译 ,主要 用 于 检测 系统 基准 环境 库 是 否 满足 gee 环境 
Xn. 


















,生成 makefile 
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a make: 编译 ,基于 第 一 步 生 成 的 makefile 文件 ,进行 源 代码 的 编译 。 

O make install; 安装 ,编译 完毕 之 后 将 相关 的 可 运行 文件 安装 至 系统 中 。 

使 用 make 编译 时 Linux 操作 系统 必须 有 GCC 编译 器 ,用 于 编译 源码 。 

源码 包 安 装 通常 需要 . / configure, make, make install 三 个 步骤 , 某 些 特殊 源码 可 以 只 
有 三 步 中 的 其 中 一 个 或 者 两 个 步骤 。 

以 CentOS 7 Linux 系统 为 基准 ,在 其 上 安装 Nginx 源码 包 , 企 业 中 源码 安装 软件 的 详 
细 步 又 如 下 : 

(D Nginx. org 官网 下 载 Nginx-1. 13. 0. tar. gz 包 : 

wget http: //nginx. org/download/nginx- 1. 13. 0. tar. gz 

(2) Nginx 源码 包 解 压 : 


tar - xvf nginx 一 1.13.0.tar.gz 

(3) 进入 源码 包 解压 后 的 目录 ,执行 . /configure 指令 进行 预 编译 ,分 号 "; "表示 连 接 多 
个 命令 : 

cd nginx- 1.13.0; ./configure 

(4) make 编译 : 

make 

(5) make install 安装 

make install 

通过 以 上 5 个 步骤 ,源码 包 软件 安装 成 功 。 源 码 包 在 编译 及 安装 时 ,可 能 会 遇 到 各 种 错 
误 ,需要 把 错误 解决 之 后 ,再 进行 下 一 步 安 装 即 可 。 后 面 章节 会 重点 针对 企业 使 用 的 软件 进 
行 案例 演练 。 


6.5 YUM 软件 包 管 理 


前 端 软件 包 管 理 器 (yellow dog updater modified. YUM) 3& H] F CentOS, Fedora, Red 
Hat 及 SUSE 等 操作 系统 ,主要 用 于 管理 RPM 4. YUM 工具 能 够 从 指定 的 服务 器 自动 下 
载 RPM 包 并 且 安 装 ,还 可 以 自动 处 理 依赖 性 关系 。 

使 用 RPM 工具 管理 和 安装 软件 时 ,会 发 现 RPM 包 有 依赖 ,需要 逐个 手动 下 载 安 装 ,而 
YUM 工具 的 最 大 便利 就 是 可 以 自动 安装 所 有 依赖 的 软件 包 , 从 而 提升 效率 ,节省 时 间 。 


6.5.1 YUM 工作 原理 


学 习 YUM 一 定 要 理解 YUM 的 工作 原理 。YUM 正常 运行 需要 依赖 两 个 部 分 : 一 是 
YUM 源 端 ; 二 是 YUM 客户 端 。 
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YUM 客户 端 安装 的 所 有 RPM 包 都 是 来 自 YUM RI in. YUM 源 端 通过 HTTP 或 者 
FTP 服务 器 发 布 。YUM 客户 端 能 够 从 YUM 源 端 下 载 依赖 的 RPM 包 是 由 于 在 YUM 源 
端 生成 了 RPM 包 的 基准 信息 ,包括 RPM 包 版 本 号 .配置 文件 二进制 信息 .依赖 关系 等 。 

YUM 客户 端 需要 安装 软件 或 者 搜索 软件 时 ,会 查找 /etc/yum. repos. d FLA. repo 结尾 
文件 。CentOS Linux 默认 的 . repo 文件 名 为 CentOS-Base. repo, 该 文件 中 配置 了 YUM 源 
端的 镜像 地 址 ,所 以 每 次 安装 、 升 级 RPM 包 YUM 客户 端 均 会 查找 . repo 文件 。 

YUM 客户 端 如 果 配 置 了 CentOS 官方 repo 源 ,客户 端 操 作 系 统 必须 能 联通 外 网 ,满足 
网 络 条 件 才能 下 载 软件 并 安装 。 如 果 没 有 网 络 , 也 可 以 构建 光盘 源 或 者 内 部 YUM 源 。 
YUM 客户 端 安装 软件 ,默认 会 把 YUM 源 地 址 、header 信息、 软件 包 、 数 据 库 信息 、 缓 存 文 
件 存 储 在 /var/cache/yum 中 ,每 次 使 用 YUM 工具 ,YUM 优先 通过 cache 查找 相关 软件 
包 ,cache 中 不 存在 ,然后 再 访问 外 网 YUM 源 。 


6.5.2 YUM 企业 案例 演练 


YUM 工具 的 使 用 简便 ,快捷 \ 高 效 ,在 企业 中 得 到 广泛 的 使 用 ,因此 得 到 众多 IT 运 维 、 
程序 人 员 的 青睐 。 要 能 熟练 使 用 YUM 工具 ,需要 先 掌 握 YUM 命令 行 参数 的 使 用 。 
YUM 命令 工具 指南 ,YUM 格式 为 


YUM [command] [package] - y| -q 


其 中 的 Loptions] 是 可 选项 。-y 表示 安装 或 者 印 载 出 现 yes 时 ,自动 确认 yes; -q 表示 不 显示 
安装 的 过 程 。YUM 命令 工具 的 参数 详解 如 下 : 
a yum install httpd: 安装 httpd 软件 包 。 
yum search: YUM 搜索 软件 包 。 
yum list httpd: 显示 指定 程序 包 安 装 情况 httpd。 
yum list; 显示 所 有 已 安装 及 可 安装 的 软件 包 。 
yum remove httpd: 删除 程序 包 httpd。 
yum erase httpd: 删除 程序 包 httpd。 
yum update: 内 核 升 级 或 者 软件 更 新 。 
yum update httpd: 更 新 httpd 软 件 。 
yum check-update: 检查 可 更 新 的 程序 。 
yum info httpd; 显示 安装 包 信 息 httpd。 
yum provides; 列 出 软件 包 提供 哪些 文件 。 
yum provides " x /rz"; 列 出 rz 命令 由 哪个 软件 包 提供 。 
yum grouplist: 查询 可 以 用 groupinstall 安装 的 组 名 称 。 
yum groupinstall "Chinese Support": 安装 中 文 支持 。 
yum groupremove "Chinese Support"; 删除 程序 组 Chinese Support, 
yum deplist httpd: 查看 程序 httpd 依赖 情况 。 
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a yum clean packages: 清除 缓存 目录 下 的 软件 包 。 
Q yum clean headers: 清除 缓存 目录 下 的 headers. 
Q yum clean all; 存 目录 下 的 软件 包 及 旧 的 headers. 


YUM 企业 案例 信 
CD 执行 命令 yum install httpd -y, 安 装 httpd 服务 ,如 图 6-7 所 示 








图 6-7 YUM 安装 httpd 软件 


(2) 执行 命令 yum grouplist, 检 查 groupinstall 的 软件 组 名 ,如 图 6-8 所 示 。 





图 6-8 YUM grouplist 显示 组 安装 名 称 


(3) 执行 命令 yum groupinstall "GNOME Desktop" -y. Z$ Linux 图 像 界 面 , 如 图 6-9 所 示 。 








nager-ads1 





图 6-9 GNOME Desktop 图 像 界 面 安 装 
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(4) 执行 命令 yum install httpd php php-devel php-mysql mariadb mariadb-server - 
安装 中 小 企业 lamp 架构 环境 ,如 图 6-10 所 示 。 


ys 





# yum install httpd php php-devel php-mysq] mariadb m 
langpacks 


dy installed and lat 

installed and latest versioi 

installed and latest 

ready installed and latest 

1:mariadb- ready installed and latest 
ng epencenciss 
Running trar 

> Package mar : 1: : will be installed 

> Finished Dependen 


'ependencies Resolved 





图 6-10 lamp 中 小 企业 架 格 





x 


AA ntpdate 软件 包 , 如 图 6-11 所 示 


(5) 执行 命令 yum remove ntpdate 





-jfedu-net -]/ yum r ve ntpdate 
d plugins: fastestmirror, langpa p 
is listed more than once in the configuration 


ing trans 
ntpdate 0:4 
ng Dependency: ntpd: 


> Running transa 


> Package ntp 
> Finish 


Package 





图 6-11 I ntpdate 软件 


(6) 执行 命令 yum provides rz 或 者 yum provides " * /rz" ,查找 rz 命令 的 提供 者 ,如 
到 6-12 所 示 





E 
[root 


/usr/bin/rz 


jfedu-net 





图 6-12 查找 rz 命令 的 提供 者 
,升级 Linux 所 有 可 更 新 的 软件 包 或 Linux 内 核 升级 ,如 


(7) 执行 命令 yum update -y 


图 6-13 所 示 。 
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图 6-13 软件 包 升 级 或 内 核 升 级 


6.6 基于 ISO 镜像 构建 YUM 本 地 源 





通常 而 言 ,YUM 客户 端 使 用 前 提 是 必须 联 外 网 ,YUM 安装 软件 会 检查 . repo 配置 文 
件 查 找 相 应 的 YUM 源 仓库 。 企 业 IDC 机 房 很 多 服务 器 为 了 安全 起 见 ,会 禁止 服务 器 上 外 
网 ,因此 不 能 使 用 默认 的 官方 YUM 源 仓 库 , 需 要 自 建 本 地 YUM W 

构建 本 地 YUM 光盘 源 ,其 原理 是 通过 查找 光盘 中 的 软件 包 实现 YUM 安装 软件 ,配置 
步骤 如 下 : 

(1) 将 CentOS-7-x86_64-DVD-1511. iso 镜像 加 载 至 虚拟 机 CD/DVD 或 者 放 和 人 服务 器 
CD/DVD 光驱 中 ,并 将 镜像 文件 挂 载 至 服务 器 /mnt 目录 ,如 图 6-14 Bros , 挂 载 命令 如 下 : 


mount /dev/cdrom /mnt/ 





图 6-14 CentOS ISO 镜像 文件 挂 载 


(2) 备份 /etc/yum. repos. d/CentOS-Base. repo 文件 为 CentOS-Base. repo. bak, 同 时 
在 /etc/yum. repos. d 目录 下 创建 media. repo 文件 ,并 写 入 如 下 内 容 : 


[yun] 

name = CentOS7 
baseurl = file:///nnt 
enabled = 1 

gpgcheck = 1 
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gpgkey = file: ///mnt/RPM— GPG — KEY - CentOS - 7 


media. repo 配置 文件 详解 如 下 : 

O name=CentOS7: YUM 源 显 示 名 称 。 

O baseurl- file: mnt: ISO 镜像 挂 载 目 录 。 

o_gpgcheck 一 1: 是 否 检查 GPG-KEY, 

a enabled=1; 是 否 启用 YUM ii. 

a gpgkey = file; ///mnt/RPM-GPG-KEY-CentOS-7; 指定 载 目录 下 的 GPG-KEY X 
件 验 证 。 

(3) 运行 命令 yum clean all 清空 YUM cache ,执行 yum install screen -y 安装 screen $k 


件 如 图 6-15 所 示 。 





图 6-15 YUM 安装 screen 软件 





(4) YUM 光盘 源 构 建 完毕 ,在 使 用 YUM 源 时 ,会 遇 到 部 分 软件 无 法 安装 ,原因 是 光盘 
中 软件 包 不 完整 导致 ,同时 光盘 源 只 能 本 机 使 用 ,其 他 局 域 网 服务 器 无 法 使 用 。 


6.7 基于 HTTP 构建 YUM 网 络 源 


著 认 只 能 本 机 使 用 ,局域网 其 他 服务 器 无 法 使 用 YUM 光盘 源 , 如 果 想 使 
用 的 话 , 需 要 在 每 台 服 务 器 上 构建 YUM 本 地 源 ,该 方案 在 企业 中 不 可 取 , 所 以 需要 构建 
HTTP 局 域 网 YUM 源 解 决 。 可 以 通过 createrepo 创建 本 地 YUM 源 端 , repo 即 为 
repository 

构建 HTTP 局 域 网 YUM 源 方法 及 步 又 如 下 : 

(1) 挂 载 光 盘 镜像 文件 至 /mnt。 






mount /dev/cdrom /mnt/ 
(2) 复制 /mnt/Packages 目录 下 所 有 软件 包 至 /var/www/html/centos/。 


mkdir -p /var/www/html/centos/ 
cp -R /mnt/Packages/ * /var/www/html/centos/ 
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(3) 使 用 createrepo 创建 本 地 源 ,执行 如 下 命令 会 在 CentOS 目录 生成 repodata A. 
目录 内 容 如 图 6-16 所 示 。 
yum install createrepo * 一 了 


cd /var/www/html 


createrepo centos/ 





图 6-16 — createrepo 生成 repodata 目录 


(4) 利用 HTTP 发 布 YUM 本 地 源 

本 地 YUM 源 通过 createrepo 搭建 完毕 ,需要 借助 HTTP Web 服务 器 发 布 /var/www/ 
html/centos/ 中 所 有 软件 ,YUM 或 者 RPM 安装 HTTP Web 服务 器 ,并 启动 httpd 服务 。 
详细 步骤 如 下 : 


a yum install httpd httpd-devel 





UE HTTP Web 服务 。 
t Apache 用 户 和 组 。 

重启 httpd 服务 

a setenforce 0, 临时 关闭 SELinux 应 用 级 安全 策略 。 

Q systemctl stop firewalld. service: 停止 防火 墙 

Q ps -ef |grep httpd; 查看 httpd 进程 是 否 启动 

(5) 在 YUM 客户 端 ,创建 /etc/yum. repos. d/http. repo 文件 ,输入 如 下 内 容 : 






a useradd apache -g apache; fj 


Q systemctl restart httpd, serv 





[base] 

name = "CentOS7 HTTP YUM" 

baseurl = http://192. 168. 1. 115/centos/ 
gpgcheck = 0 

enabled = 1 

[updates] 

name = "CentOS7 HTTP YUM" 

baseurl = http://192. 168.1. 115/centos 
gpgcheck - 0 

enabled = 1 
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(6) 在 YUM 客户 端 上 执行 以 下 命令 ,详解 如 下 
YUM cache。 
安装 ntpdate 软件 。 





果 如 图 6-17 所 示 。 





a yum clean all: 清空 





Q yum install ntpdate -y: 


1 ntpdate 


dates /pr 
e 





图 6-17 HTTP YUM 源 客 户 





6.8 YUM 源 端 软 件 包 扩展 


默认 使 用 ISO 镜像 构建 的 HTTP YUM 源 , 会 发 现 缺少 很 多 软件 包 。 如 果 服 务 
挂 载 移动 硬盘 ,mount 挂 载 移动 硬盘 需要 ntfs-3g 软件 包 支 持 , 而 本 地 光盘 镜像 中 没有 该 软 
件 包 ,此 时 需要 往 YUM 源 端 添加 ntfs-3g 软件 包 ,添加 方法 如 下 : 

(1) 切换 至 /var/www/html/centos 目录 ,官网 下 载 ntfs-3g 软件 包 









Eg 
du Be 


而 





cd /var/www/htnl/centos/ 

wget http: //d1. fedoraproject. org/pub/epel/7/x86 64/n/ntfs - 3g - 2016.2. 22 — 3. el7. x86 _ 
64. rpn 

http: //d1. fedoraproject. org/pub/epel/7/x86 64/n/ntfs - 3g - devel - 2016. 2. 22 - 3. el7. x86 -. 
64. rpm 


(2) createrepo 命令 更 新 软件 包 , 如 需 新 增 其 他 软件 包 , 把 软件 下 载 至 本 地 ,然后 通过 
createrepo 更 新 即 可 ,如 图 6-18 所 示 


createrepo -- update centos/ 


ai 


metadata 
adata 

rating DBs 

te Y 





图 6-18 createrepo update 更 新 软件 包 
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(3) 客户 端 YUM 验证 ,安装 ntfs-3g 软件 包 , 如 图 6-19 所 示 。 





图 6-19 YUM install ntfs-3g 软件 包 


6.9 同步 外 网 YUM 源 


在 企业 实 
把 外 网 的 YUM 
整 性 。 

获取 外 网 YUM 源 软 件 常见 方法 包括 : rsync、wget、reposync, 三 种 同步 方法 的 区 别 
为 : rsync 方式 需要 外 网 YUM 源 支 持 rsync 协议 ; wget 可 以 直接 获取 ; reposync 可 以 同 
步 几 乎 所 有 的 YUM 源 。 下 面 以 reporsyne 为 案例 .同步 外 网 YUM 源 软件 至 本 地 , 步 又 
如 下 : 

(1) 下 载 CentOS 7 repo 文件 至 /etc/yum. repos. d/ ,并 






立 用 场景 中 ,仅仅 靠 光 盘 中 的 RPM 软件 包 是 不 能 满足 需要 的 ,用 户 可 以 
原 中 的 所 有 软件 包 同步 至 本 地 ,完善 本 地 YUM 源 的 软件 包 数 量 及 完 





wget http: //nirrors. 163. con/. help/Cent0S7 - Base - 163. repo 
mv CentOS? - Base - 163. repo /etc/ yum. repos. d/centos. repo 
yum clean all 

yum install yum - utils createrepo - y 

yum repolist 


(2) 通过 reposync 命令 工具 获取 外 网 YUM 源 所 有 软件 包 ,-r 指定 repolist id, 默 认 不 
加 -r 表示 获取 外 网 所 有 YUM 软件 包 ,-p 参数 表示 指定 下 载 软件 的 路 径 , 如 图 6-20 所 示 。 


reposync - r base - p /var/www/htnl/centos/ 
reposync - r updates - p /var/www/html/centos/ 


(3) 通过 reposync 工具 下 载 完 所 有 的 软件 包 之 后 ,需要 执行 createrepo 更 新 本 地 YUM 
仓库 。 


createrepo /var/www/htnl/centos/ 
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r /ww/html /centos 





(b) reposync 获 取 外 网 YUM 源 软件 包 (2) 


图 6-20 reposync 获取 外 网 YUM 源 软件 包 


RE ING 


通过 对 本 章 内 容 的 学 习 , 读 者 掌握 了 Linux 安装 不 同 软件 包 的 工具 及 命令 。 使 用 RPM 
及 YUM 管理 以 . rpm 结尾 的 二 进 制 包 , 基 于 configure, make, make install 实现 源码 包 安 
BE ,并 能 够 对 软件 进行 安装 . 印 载 及 维护 。 能 够 独立 na 企业 光盘 源 HTTP YUM 源 , 实 
无 外 网 网 络 使 用 YUM 安装 各 种 软件 包 及 工具 ， 


源 中 。 











同步 作业 


1. RPM 及 YUM 管理 工具 的 区 别 是 什么 ? 
2. 企业 中 安装 软件 , 何 时 选择 YUM 安装 或 者 源码 编译 安装 "1 
3. 将 Linux 系统 中 PHP5. 3 版 本 升级 至 PHP5.5 版 本 ,升级 方法 有 几 种 ,分 别 写 出 升 
级 步 又 。 
.使 用 源码 编译 安装 httpd-2. 4. 25. tar. bz2, 写 出 安装 的 流程 及 注意 事项 。 
.如 何 将 CentOS 7 Linux 字 " 界面 升级 为 图 形 界 面 .并 设置 系统 启动 默认 为 图 形 
界面 。 





. Linux 磁盘 管理 








Linux 系统 一 切 以 文件 的 方式 存储 于 硬盘 ,应 用 程序 数据 需要 时 刻 读 写 硬盘 ,所 以 企业 
生产 环境 中 对 硬盘 的 操作 变 得 尤为 重要 ,对 硬盘 的 维护 和 管理 也 是 每 个 运 维 工程 师 必 做 的 
工作 之 一 。 

本 章 向 读者 介绍 硬盘 简介 硬盘 数据 存储 方式 、 如 何在 企业 生产 服务 器 添加 硬盘 、 对 硬 
盘 进 行 分 区 ,初始 化 以 及 对 硬盘 进行 故障 修复 等 内 容 。 


7.1 计算 机 硬盘 简介 


硬盘 是 计算 机 主要 存储 媒介 之 一 ,由 一 个 或 者 多 个 铝 制 或 者 玻璃 制 的 碟 片 组 成 , 碟 片 外 
覆盖 有 铁 磁 性 材料 ,硬盘 内 部 由 磁道 . 柱 面 `. 扇 区 、 磁 头等 部 件 组 成 ,如 图 7-1 所 示 。 

Linux 系统 中 硬件 设备 相关 配置 文件 存放 在 track/ 
/dev/ 下 , 常见 硬盘 命名 为 /dev/hda、/dev/sda、。cylinder( 柱 面 ) sylinder 
/dev/sdb,/dev/sde,/dev/vda. 不 同 硬盘 接口 ,在 Sia 
系统 中 识别 的 设备 名 称 不 一 样 。 

IDE 硬盘 接口 在 Linux 中 设备 名 为 /dev/hda， 
SAS,SCSI,SATA 硬盘 接口 在 Linux 中 设备 名 为 £- 3 d 
sda, 高 效 云 盘 硬盘 接口 会 识别 为 /dev/vda 等 。 ^ Z 4 platters 

文件 储存 在 硬盘 上 ,硬盘 的 最 小 存储 单位 叫 作 
sector( 扇 区 ) ,每 个 sector 储存 512 字 节 。 操 作 系 
统 在 读 取 硬 盘 的 时 候 , 不 会 逐个 sector 地 去 读 取 , 这 样 效率 非常 低 , 为 了 提升 读 取 效率 ,操作 
系统 会 一 次 性 连续 读 取 多 个 sector, 即 一 次 性 读 取 多 个 sector 称 为 一 个 block( 块 )。 

由 多 个 sector 组 成 的 block 是 文件 存 取 的 最 小 单位 。block 的 大 小 常见 的 有 1KB、 
2KB.4KB.block 在 Linux 中 常设 置 为 4KB, 即 连续 8 个 sector 组 成 一 个 block. 

/boot 分 区 的 block 一 般 为 1KB, 而 /data/ 分 区 或 者 /分 区 的 block 为 4KB。 可 以 通过 
以 下 3 种 方法 查看 Linux 分 区 的 block 大 小 : 


sector 


图 7-1 硬盘 内 部 结构 组 成 
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dumpe2fs /dev/sdal|grep"Block size" 

tune2fs - 1 /dev/sdal |grep" Block size" 

stat /boot/ | grep" I0 Block" 

例如 创建 一 个 普通 文件 ,文件 大 小 为 10B, 而 默认 设置 block Jy 4KB, 如 果 有 1 万 个 小 
文件 ,由 于 每 个 block 只 能 存放 一 个 文件 ,如 果 文 件 的 大 小 比 block 大 ,会 申请 更 多 的 block. 
相反 如 果 文件 的 大 小 比 默认 block 小 , 仍 会 占用 一 个 block ,这 样 剩余 的 空间 会 被 浪费 掉 。 
说 明 如 下 。 

a 1 万 个 文件 理论 只 占用 空间 大 小 : 10000 + 10—100000B— 97. 65625MB, 

a 1 万 个 文件 真实 占用 空间 大 小 : 10000 x 4096B— 40960000B— 40000MB — 40GB, 

a 根据 企业 实际 需求 ,此 时 可 以 将 block 设置 为 1KB, 从 而 节省 更 多 的 空间 。 








7.2 硬盘 block 及 inode 详解 


通常 而 言 ,操作 系统 对 于 文件 数据 的 存放 包括 两 个 部 分 : 一 是 文件 内 容 ; 二 是 权限 及 
文件 属性 。 操 作 系 统 文件 存放 是 基于 文件 系统 ,文件 系统 会 将 文件 的 实际 内 容 存储 到 block 
中 ,而 将 权限 与 属性 等 信息 存放 至 inode 中 。 

在 硬盘 分 区 中 ,还 有 一 个 超级 区 块 (superblock) ,superblock 会 记录 整个 文件 系统 的 整 
体 信息 ,包括 inode、block 的 总 量 、 使 用 大 小 ,剩余 大 小 等 信息 。 每 个 inode 与 block 都 有 编 
号 对 应 ,方便 Linux 系统 快速 定位 查找 文件 。 详 细 说 明 如 下 : 

a superblock: 记录 文件 系统 的 整体 信息 ,包括 inode 与 block 的 总 量 、 使 用 大 小 、 剩 余 

大 小 以 及 文件 系统 的 格式 与 相关 信息 等 。 

a inode; 记录 文件 的 属性 .权限 ,同时 会 记录 该 文件 的 数据 所 在 的 block 编号 。 

a block: 存储 文件 的 内 容 ,如果 文件 超过 默认 block 大 小 ,会 自动 占用 多 个 block, 

每 个 inode 与 block 都 有 编号 ,而 每 个 文件 都 会 占用 一 个 inode, inode 内 则 有 文件 数据 
放置 的 block 号码。 如 果 能 够 找到 文件 的 inode, 就 可 以 找到 该 文件 所 放置 数据 的 block 号 
码 , 从 而 读 取 该 文件 内 容 。 

操作 系统 进行 格式 化 分 区 时 ,操作 系统 自动 将 硬盘 分 成 两 个 区 域 。 一 个 是 数据 block 
区 ,用 于 存放 文件 数据 ; 另 一 个 是 inode table 区 ,用 于 存放 inode 包含 的 元 信息 。 

每 个 inode 节点 的 大 小 ,可 以 在 格式 化 时 指定 ,默认 为 128B Bk 256B./boot 分 区 inode 
默认 为 128B, 其 他 分 区 默认 为 256B, 查 看 Linux 系统 inode 的 方法 如 下 : 








dumpe2fs /dev/sdal|grep" Inode size " 

tune2fs - 1 /dev/sdal|grep" Inode size" 

stat /boot/| grep" Inode" 

格式 化 磁盘 时 ,可 以 指定 默认 inode 和 block 的 大 小 ,-b 指定 默认 block (8 .-I f E RUA 
inode 值 ,如 图 7-2 所 示 , 命 令 如 下 : 


第 7 章 ”Linux 磁盘 管理 |> 91 


mkfs. ext4 -b 4096 - I 256 /dev/sdb 


e Super User 





7.3 硬 链接 介绍 


- 般 情况 下 ,文件 名 和 inode 编号 是 一 一 对 应 的 关系 ,每 个 inode 号 码 对 应 一 个 文件 名 
但 UNIX/Linux 系统 多 个 文件 名 也 可 以 指向 同一 个 inode 号 码 。 这 意味 着 可 以 用 不 同 的 文 
件 名 访问 同样 的 内 容 , 对 文件 内 容 进行 修改 ,会 影响 到 所 有 文件 名 。 但 删除 一 个 文件 名 ,不 
影响 另 一 个 文件 名 的 访问 。 这 种 情况 被 称 为 硬 链 接 Chard link) 
创建 硬 链 接 的 命令 为 In jf1.txt jf2.txt, 其 中 jf1.txt 为 源 文 件 ,jf2.txt 为 目标 文件 。 如 果 
上 述 命令 源 文 件 与 目标 文件 的 inode 号 码 相同 , 则 都 指向 同一 个 inode. inode 信息 中 有 
项 叫 作 ”链接 数 ”, 记 录 指 向 该 inode 的 文件 名 总 数 , 这 时 会 增加 1, 变 成 2, 如 图 7-3 所 示 。 











图 7-3 jflaxt jf2.txt 硬 链接 inode 值 变化 


同 理 ,删除 一 个 jf2.txt 文件 ,就 会 使 得 jfl.txt inode 节点 中 的 “链接 数 ” 减 1。 如 果 该 
inode 值 减 到 0, 表明 没有 文件 名 指向 这 个 inode, 系 统 就 会 回收 这 个 inode 号 码 , 以 及 其 所 对 
应 block 区 域 , 如 图 7-4 所 示 。 

实用 小 技巧 : 硬 链接 不 能 跨 分 区 链接 , 硬 链接 只 能 对 文件 生效 ,对 目录 无 效 , 也 即 是 目 
录 不 能 创建 硬 链接 。 硬 链接 源 文件 与 目标 文件 共用 一 个 inode 值 , 从 某 种 意义 上 来 说 ,节省 
inode 空间 。 不 管 是 单独 删除 源 文 件 还 是 删除 目标 文件 ,文件 内 容 始 终 存在 。 链 接 后 的 文 
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件 不 占用 系统 多 余 的 空间 。 
7.4 软 链接 介绍 


除了 硬 链接 以 外 ,还 有 一 种 链接 一 一 软 链接 。 文 件 jfl.txt 和 文件 jf2.txt 的 inode 号 码 
虽然 不 同 , 但 是 文件 jf2:xt 的 内 容 是 文件 jfl.txt 的 路 径 。 读 取 文 件 jf2.txt 时 ,系统 会 自动 将 
访问 者 导向 文件 jfl.txt 

无 论 打 开 哪 一 个 文件 ,最 终 读 取 的 文件 都 是 jl.txt。 这 时 ,文件 jf2.txt 就 称 为 文件 j{1. 
txt 的 “ 软 链接 ”(soft link) 或 者 “符号 链接 ”(symbolic link) 

文件 jf2.txt 依赖 于 文件 jfl.txt 而 存在 ,如 果 删 除了 文件 jfltxt, 打 开 文 件 jf2.txt 就 会 报 
错 No such file or directory 

软 链接 与 硬 链接 最 大 的 不 同 是 文件 jf2.txt 指向 文件 jf1.txt 的 文件 名 ,而 不 是 文件 jf1. 
txt 的 inode 号 码 ,因此 文件 jfl.txt 的 inode 链接 数 不 会 发 生变 化 ,如 图 7-5 所 示 












图 7-5 删除 jf1.txt 源 文件 链接 数 不 变 


实用 小 技巧 : 软 链接 可 以 跨 分 区 链接 . 软 链 接 支持 目录 同时 也 支持 文件 的 链接 。 软 链 
接 源 文件 与 目标 文件 inode 不 相同 ,从 某 种 意义 上 说 ,会 消耗 更 多 inode 空间 。 不 管 是 删除 
源 文件 还 是 重启 系统 ,该 软 链接 还 存在 ,但 是 文件 内 容 会 丢失 ,一 旦 新 建 源 同名 文件 名 , 软 链 
接 文件 恢复 正常 。 
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7.5 Linux 下 磁盘 实战 操作 命令 









企业 真实 场景 由 于 硬盘 常年 大 量 ; 会 出 现 坏 盘 ,需要 更 换 硬盘 。 或 者 由 于 磁盘 
空间 不 足 , 需 添 加 新 硬盘 加 的 硬盘 需要 经 过 格式 化 .分 区 才能 被 Linux 系统 所 使 用 。 
虚拟 机 CentOS 7 Linux 模拟 DELL R730 真实 服务 器 添加 一 块 新 硬盘 ,不 需要 关机 ,直接 插 
入 用 硬盘 即 可 ,一般 硬盘 均 支 持 热 插 拔 功能 。 企 业 中 添加 新 硬盘 前 流程 如 下 : 

CD 检测 Linux 系统 识别 的 硬盘 设备 ,新 添加 硬盘 被 识别 为 /dev/sdb, 如 果 有 多 块 硬 
fk ,会 依次 识别 成 /dev/sdc、/dev/sdd 等 设备 名 称 , 如 图 7-6 所 示 。 











fdisk -1 





图 7-6 fdisk 查看 Linux 系统 硬盘 设备 
(2) 基于 新 硬盘 /dev/sdb 设备 ,创建 磁盘 分 区 /dev/sdbl, 如 图 7-7 所 示 


fdisk /dev/sdb 





图 7-7 fdisk /dev/sdb 分 区 


(3) fdisk 分 区 命令 参数 如 下 ,常用 参数 包括 m.n.p.e.d.w 
a b: 编辑 bsd disklabel. 
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运 维 实战 





a c: 切换 dos 兼容 性 标志 。 
q d; 删除 一 个 分 区 。 


a g; 创建 一 


a G: 创建 一 


个 新 的 空 GPT 分 区 表 
个 IRIX(CSGI) 分 区 表 。 


a 1: 列 出 已 知 的 分 区 类 型 。 
Om: 打印 帮助 菜单 。 
a n: 添加 一 个 新 分 区 
a o; 创建 一 个 新 空 DOS 分 区 表 
a p: 打印 分 区 表 信 息 
a q: 退出 而 不 保存 更 改 
a s; 创建 一 个 新 的 空 的 sun 磁盘 标签 
a t: 更 改 分 区 的 系统 ID 
a ou. 更 改 显示 / 输 入 单位 
a v; 验证 分 区 表 
a w; ja 分 区 表 写 人 磁盘 并 退出 
外 功能 
(A) 创建 /dev/sdbl 分 区 方法 ,执行 命令 (disk /dev/sdb, 然 后 按 屏 幕 提 示 依 次 输入 n, 
1 , 按 Enter 键 ,再 输入 十 20G, 按 Enter 键 ,输入 w, 最 后 执行 fdisk -l| tail -10, 如 图 7-8 
所 示 















Q x; 4 


rootüwew-jfedu-net ~1# 
Welcome to fdisk Qutil-Minux 2.23 


Changes will remain in memory only, until you decide to write ther 
Be careful before using the writ mand 


Device does not contain a recognized partition table 
Building a new DOS disklabel with dis 


identifier Ox 
Command (m for help): n 
Partition type 


p primary (0 primary, O extended, 4 free) 
e extended 


default 
tor, { } 8-83886079, default 83881 


Command (m for help): 


(a) fdisk /dev/sdb 创 建 /dev/sdb1 分 区 





，83886080 sectors 


al/physical): 512 512 bytes 
mimum/optima1); 
Disk label type: 
Disk identifier: 0 


vice Boot 


jfedu-net 





(b) fdisk -| 查看 /dev/sdb1 分 区 


图 7-8 创建 /dev/sdbl 分 区 


Linux 磁 盘 管理 |> 95 





(5) mkfs. ext4 /dev/sdbl 格式 化 磁盘 分 区 ,如 图 7-9 所 示 。 





图 7-9 mkfs. ext4 格式 化 磁盘 分 区 





(6) /dev/sdbl 分 区 格式 化 ,使 用 mount ñ< 
图 7-10 所 示 

a mkdir -p /data/; 创建 /data/ 数 据 日 录 

Q mount /dev/sdbl /data: 挂 载 /dev/sdbl 分 区 至 /data/ 日 录 

a df -h: 查看 磁盘 分 区 详情 

a echo "mount /dev/sdbl /data" >>/ete/re. local: 将 挂 载 分 区 命令 加 入 /etc/rc. local 


JF BUS 











图 7-10. mount 挂 载 /dev/sdbl 磁盘 分 区 


(7) 自动 挂 载 分 区 除了 可 以 加 入 到 /etcyrc. local 开机 启动 之 外 ,还 可 以 加 入 到 /etc/ 
fstab 文件 中 ,命令 详解 如 下 ,结果 如 图 7-11 所 示 


c/fstab 
Created by anaconda on Sat Aug 20 13:10:05 2016 


Accessible filesystems, by reference, are maintained under '/dev/disk' 
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info 


UUID=: elf M 4 xfs defaults 
1 xfs defaults 

swap defaults 

ext4 defaults 





图 7-11 /dev/sdbl 磁盘 分 区 加 入 /etc/fstab 文件 
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/dev/sdbl /data/ ext4 defaults 0 0 


mount -o rw, remount / 


如 上 命令 表示 重新 挂 载 / 系 
7.6 基于 GPT 格式 磁盘 分 区 


MBR 分 区 标准 决定 了 MBR 只 支持 在 2TB 以 下 的 硬盘 分 区 ,为 了 能 支持 使 用 大 于 2TB 
硬盘 空间 , 需 使 用 GPT 格式 进行 分 区 。 创 建 大 于 2TB 的 分 区 , 需 使 用 parted 工具 

在 企业 真实 环境 中 ,通常 一 台 服 务 器 有 多 块 硬盘 ,整个 硬盘 容量 为 10TB, 需 要 基于 
GTP 格式 对 10TB 硬盘 进行 分 区 ,操作 步骤 如 下 : 


Q parted -s /dev/sdb mklabel gpt: 设置 分 区 类 


t. Frilll /etc/fstab EAA IR. 








IH gpt 格式 。 







a mkfs. ext3 /dev/sdb; 基于 


Q mount /dev/sdb /data/: 


(1) 如 图 7-12 所 示 ,假设 /dev/sdb 为 10TB 硬盘 ,使 用 GPT 格式 来 格式 化 磁盘 。 





图 7-12 假设 /dev/sdb 为 10TB 设备 


(2) 执行 命令 parted -s /dev/sdb mklabel gpt, 如 图 7-13 所 示 





图 7-13 设置 /dev/sdb 为 GPT 格式 磁盘 


(3) 基于 mkfs. ext3 /dev/sdb 格式 化 磁盘 ,如 图 7-14 Pras. 
parted 命令 行 也 可 以 进行 分 区 ,依次 输入 如 下 命令 ,如 图 7-15 所 示 。 
parted-> select /dev/sdb >mklabel gpt->mkpart primary 0 — 1—print 


mkfs.ext3 /dev/sdbl 
mount /dev/sdbl /data/ 
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[root@loç 
mk: f: 
tion! 


super user 


[root@localhost ~]# parted 
GNU Parted 2.1 
Hj /dev/sda 
lcome to GNU Parted! Type 'help' to view a list of 


(parted) select /dev/sdb E 527097002715. 
使 用 /dev/sdb 


(parted gpt 格式 类 型 为 GPT 
“a: The existing disk Tabel on /dev/sdb will be dest 
fost. Do you want to continue? 


(parted) mkpart primary 0 -1 | 将 整 块 硬盘 分 为 一 个 分 区 
E The resulting partition is not properly aligned 
/Ignor (3; /Cance1? 

忽略 Ignors Cancel? ignore 

(parted) ñ " "PV 

(parted) print 打印 我 们 刚 分 区 的 磁盘 信息 
VMware Virtual S (scsi) 
53.7GB 

Sector size (logical/physical): 512B/512B 

Partition Table: gpt 


oS type: Linux 
Block si 6 
Fragment 096 (log 
str blocks, Stripe width 
0 inodes, 5 bl 
blocks (5.0 
First data bloc 
maximum filesy 4967. 
160 block groups 
68 blocks per group, 32768 fragments per group 
8192 inodes per group 
Superblock backups stored on b] 
98304，163840 


root&localhost ~ 
root@localhost 

[root@localhost 

root@localhe: 

root 

root: 

Files % Mounted on 
dev /sda: 

tmpfs M O% /dev/shr 
dev/sdal 24% /boot 
dev/sdb1 data 
[root@ localhost 

[rootélocalhost 





(c) parted 工 具 执行 GPT 格 式 分 区 (3) 


图 7-15 parted 工具 执行 GPT 格式 分 区 
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7.7 mount 命令 工具 


mount 命令 工具 主要 用 于 将 设备 或 者 分 区 挂 载 至 Linux 系统 目录 下 ,Linux 系统 在 分 
区 时 ,基于 mount 机 制 将 /dev/sda 分 区 挂 载 至 系统 目录 ,将 设备 与 目录 挂 载 之 后 ,Linux 操 
作 系 统 方 可 进行 文件 的 读 取 和 存储 。 


7.7.1 mount 命令 参数 详解 


以 下 为 企业 中 mount 命令 常用 参数 详解 。 
常见 用 法 如 下 : 


mount [ - Vh] 
mount -a [ - fFnrsvw] [ - t vfstype] 





mount [ - fnrsvw] [ - o options [,...]] device | dir 

mount [ - fnrsvw] [ - t v£stype] [ - o options] device dir 

参数 详解 如 下 : 

a -V: 显示 mount TAMAS. 

a -1: 显示 已 加 载 的 文件 系统 列表 。 

-h: 显示 帮助 信息 并 退出 。 

-vi 输出 指令 执行 的 详细 信息 。 

-n: 加 载 没 有 写 入 文件 /etc/mtab 中 的 文件 系统 。 

-r: 将 文件 系统 加 载 为 只 读 模式 。 

-a: 加 载 文件 /etc/fstab 中 配置 的 所 有 文件 系统 。 

9 -o: 指定 mount 挂 载 扩展 参数 ,常见 扩展 指令 rw、remount,loop 等 。 
其 中 与 -o 相关 指令 如 下 : 

-o atime: 系统 会 在 每 次 读 取 文档 时 更 新 文档 时 间 。 

-o noatime; 系统 会 在 每 次 读 取 文档 时 不 更 新 文档 时 间 。 

-o defaults; 使 用 预 设 的 选项 rw .suid . dev. exec. auto. nouser 等 。 
-o exec: 允许 执行 档 被 执行 。 

-O user,-o nouser: 使 用 者 可 以 执行 mount/umount 的 动作 。 

-o remount: 将 已 挂 载 的 系统 分 区 重新 以 其 他 再 次 模式 挂 载 。 

-o ro: 只 读 模 式 挂 载 。 

-o rw: 可 读 可 写 模 式 挂 载 。 

-o loop: 使 用 loop 模式 ,把 文件 当成 设备 挂 载 至 系统 目录 。 

-t: 指定 mount 挂 载 设备 类 型 .常见 类 型 有 nfs、ntfs-3g、vfat、iso9660 等 。 
其 中 与 -t 相关 指令 如 下 : 

O iso9660: 光盘 或 光盘 镜像 。 


D D DDD 


a 
a 
a 
a 
a 
a 
a 
a 
a 
a 


0D D D D OD DO 


ds 
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msdos: Fatl6 文件 系统 。 

vfat: Fat32 文件 系统 。 

ntfs: ntfs 文件 系统 。 

ntfs-3g: 识别 移动 硬盘 格式 。 

smbfs: 挂 载 Windows 文件 网 络 共 享 。 
nfs; UNIX/Linux 文件 网 络 共享 。 


7.2 企业 常用 mount 案例 


mount 常用 案例 演示 详解 如 下 : 
o mount/dev/sdbl/data: 挂 载 /dev/sdbl 分 区 至 /data/ 目录 。 


o ooo 


oo 


7.8 


mount/dev/cdrom/mnt: 挂 载 cdrom 光盘 至 /mnt 目录 。 

mount -t ntfs-3g/dev/sdc/datal; 挂 载 /dev/ sdc 移动 硬盘 至 /datal HR. 

mount -o remount,rw/: 重新 以 读 写 模式 挂 载 /系统 。 

mount -t iso9660 -o loop centos7. iso /mnt: 将 CentOS 7. iso 镜像 文件 挂 载 至 /mnt 
目录 。 

mount -t fat32/dev/sddl/mnt: 将 U fi /dev/sddl 挂 载 至 /mnt/ 目录 。 

mount -t nfs 192. 168. 1. 11; /data/ /mnt; 将 远程 192. 168. 1. 11;/data A REEMA 
本 地 /mnt 目录 。 


Linux 硬盘 故障 修复 


企业 服务 器 运 维 中 ,经 常会 发 现 操作 系统 的 分 区 变 成 只 读 文件 系统 ,错误 提示 信息 为 


Read-only file system。 出 现 只 读 文件 系统 会 导致 只 能 读 取 而 无 法 写 入 新 文件 ,新 数据 等 


造成 该 问题 的 原因 包括 : 磁盘 老 旧 长 期 大 量 的 读 写 .文件 系统 文件 被 破坏 、 磁 盘 碎 片 文 


件 . 异 常 断 电 、 读 写 中 断 等 。 


以 企业 CentOS 7 Linux 为 案例 来 修复 文件 系统 ,步骤 如 下 : 
CD 远程 备份 本 地 其 他 重要 数据 ,出 现 只 读 文 件 系统 , 需 先 备份 其 他 重要 数据 ,基于 


rsync|scp 远程 备份 ,其 中 /data 为 源 目 录 ,/data/backup/2017/ 为 目标 备份 目录 。 


rsync -av /data/ root@192. 168. 111.188 :/data/backup/2017/ 


(2) 可 以 重新 挂 载 /系统 , 挂 载 命令 如 下 .测试 文件 系统 是 否 可 以 写 入 文件 。 


mount - o remount, rw / 


(3) 如 果 重 新 挂 载 /系统 无 法 解决 问题 , 则 需 重启 服务 器 以 CD/DVD 光盘 引导 进入 


Linux Rescue 修复 模式 。 如 图 7-16 所 示 ,光标 选择 Troubleshooting, 按 Enter 键 ,然后 选择 
Rescue a CentOS system, 按 Enter ££. 
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(a) 光盘 引导 进入 修复 模式 (1) 





(b) 光盘 引导 进入 修复 模式 (2) 


图 7-16 光盘 引导 进入 修复 模式 





操作 ,如 图 7-17 Bros 





选择 Continue 4 


(5) 进入 修复 模式 ,执行 如 下 命令 ,df -h 显示 原来 的 文件 





E ,如 图 7-18 所 示 。 


chroot /mnt/sysimage 
df -h 





图 7-18. 切换 原 分 区 目录 
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(6) 对 有 异常 的 分 区 进行 检测 并 修复 ,根据 文件 系统 类 型 ,执行 命令 如 下 : 


umount /dev/sda3 
fsck.ext4 /dev/sda3 一 了 


CD 修复 完成 之 后 ,重启 系统 即 可 。 


reboot 


本 章 小 结 


通过 对 本 章 内 容 的 学 习 , 读 者 掌握 了 Linux 硬盘 内 部 结构 、block 及 inode 特性 ,能 够 对 
企业 硬盘 进行 分 区 、 格 式 化 等 操作 ,满足 企业 的 日 常 需求 。 

基于 mount 工具 ,能 对 硬盘 .各 类 文件 系统 进行 挂 载 操作 ,同时 对 只 读 文件 系统 能 快速 
修复 并 投入 使 用 。 


同步 作业 


l. 软 链接 与 硬 链接 的 区 别 是 什么 ? 

2. 有 一 块 4TB 的 移动 硬盘 ,如 何 将 数据 复制 至 服务 器 /data/ 目 录 , 服 务 器 空间 为 
10TB ,请 写 出 详细 步骤 。 

3. 运 维 部 小 刘 发 现 公 司 IDC 机 房 一 台 DELL R730 服务 器 ,/data/ 目 录 不 可 写 ,而 
/boot 目录 可 读 可 写 ,请 问 原因 是 什么 ,如 何 修 复 /data/ 目录 ? 

4. 公司 一 台 DELL R730 服务 器 /data/images 目录 存放 了 大 量 的 小 文件 , 运 维 人 员 向 
该 目录 写 人 1MB 测试 文件 ,提示 磁盘 空间 不 足 , 而 通过 df -h 显示 剩余 可 用 空间 为 500GB， 
请 问 是 什么 原因 导致 的 ,如 何 解决 该 问题 ? 

5. 机 房 一 台 DELL R730 服务 器 ,由 于 业务 需求 临时 重启 ,重启 完 20 分 钟 后 还 无 法 登 
录 系 统 , 检 查 控制 台 输出 ,一 直 卡 在 MySQL 服务 启动 项 ,请 问 如 何 快速 解决 让 系统 正常 启 
动 , 请 写 出 解决 步骤。 
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运 维和 管理 企业 Linux 服务 器 ,除了 要 熟练 掌握 Linux 系统 本 身 的 维护 和 管理 之 外 ,最 
重要 的 是 熟练 甚至 精通 Linux 系统 安装 配置 各 种 应 用 软件 ,对 软件 进行 调 优 以 及 针对 软件 
在 使 用 中 遇 到 的 各 类 问题 ,能 够 快速 定位 并 解决 。 

本 章 向 读者 介绍 进程 .线程 .企业 Vsftpd 服务 器 实战 .匿名 用 户 访问 、 系 统 用 户 访问 及 
虚拟 用 户 实战 等 内 容 。 


8.1 进程 与 线程 的 概念 及 区 别 


Linux 系统 各 种 软件 和 服务 存在 于 系统 ,必然 会 占用 系统 各 种 资源 ,系统 资源 是 如 何 分 
配 及 调度 的 ,本 节 将 给 读者 展示 系统 进程 .资源 及 调度 相关 的 内 容 。 
进程 (process) 是 计算 机 中 的 软件 程序 关于 某 数据 集合 上 的 一 次 运行 活动 ,是 系统 进行 
资源 分 配 和 调度 的 基本 单位 ,是 操作 系统 结构 的 基础 。 
在 早期 面向 进程 设计 的 计算 机 结构 中 ,进程 是 程序 的 基本 执行 实体 ,在 当代 面向 线程 设 
计 的 计算 机 结构 中 ,进程 是 线程 的 容器 。 软 件 程序 是 对 指令 数据 及 其 组 织 形式 的 描述 ,而 
进程 是 程序 的 实体 ,通常 而 言 ,把 运行 在 系统 中 的 软件 程序 称 之 为 进程 。 
除了 进程 ,读者 通常 会 听 到 线程 的 概念 ,线程 也 被 称 为 轻 量 级 进程 lightweight 
process, LWP) ,是 程序 执行 流 的 最 小 单元 。 一 个 标准 的 线程 由 线程 ID, 当 前 指令 指针 
(PC) ,寄存 器 集合 和 堆栈 组 成 。 
线程 是 进程 中 的 一 个 实体 ,是 被 系统 独立 调度 和 分 派 的 基本 单位 ,线程 自己 不 拥有 操作 
系统 资源 ,但 是 该 线程 可 与 同属 进程 的 其 他 线程 共享 该 进程 所 拥有 的 全 部 资源 。 
程序 .进程 、 线 程 三 者 区 别 如 下 。 
a 程序: 程序 并 不 能 单独 执行 ,是 静止 的 .只 有 将 程序 加 载 到 内 存 中 ,系统 为 其 分 配 资 
源 后 才能 够 执行 。 
a 进程 : 程序 对 一 个 数据 集 的 动态 执行 过 程 , 一 个 进程 包含 一 个 或 者 更 多 的 线程 ,一 个 
线程 同时 只 能 被 一 个 进程 所 拥有 ,进程 是 分 配 资源 的 基本 单位 。 进 程 拥有 独立 的 内 
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存单 元 ,而 多 个 线程 共享 内 存 , 从 而 提高 了 应 用 程序 的 运行 效率 。 

a 线程 : 线程 是 进程 内 的 基本 调度 单位 ,线程 的 划分 尺度 小 于 进程 ,并 发 性 更 高 ,线程 
本 身 不 拥有 系统 资源 ,但 是 该 线程 可 与 同属 进程 的 其 他 线程 共享 该 进程 所 拥有 的 全 
部 资源 。 每 一 个 独立 的 线程 ,都 有 一 个 程序 运行 的 入 口 ,顺序 执行 序列 和 程序 的 出 口 。 

程序 .进程 线程 三 者 的 关系 拓扑 图 如 图 8-1 所 示 。 
































盘存 有 a 
硬盘 存储 Wi 





图 8-1 程序 .进程 .线程 三 者 的 关系 拓扑 图 


如 图 8-1 所 示 ,多 进程 、 多 线程 的 区 别 如 下 。 

a 多 进程 : 每 个 进程 互相 独立 ,不 影响 主 程序 的 稳定 性 , 某 个 子 进程 朋 溃 对 其 他 进程 没 
有 影响 ,通过 增加 CPU 可 以 扩充 软件 的 性 能 ,可 以 减少 线程 加 锁 /解锁 的 影响 , 极 大 
提高 性 能 。 缺 点 是 多 进程 逻辑 控制 复杂 ,需要 和 主 程序 交互 ,需要 跨 进 程 边 界 , 进 程 
之 间 上 下 文 切 换 比 线程 之 间 上 下 文 切换 代价 大 。 

9 多 线程 : 无 须 跨 进程 ,程序 迎 辑 和 控制 方式 简单 ,所 有 线程 共享 该 进程 的 内 存 和 变量 
等 。 缺 点 是 每 个 线程 与 主 程序 共用 地 址 空间 ,线程 之 间 的 同步 和 加 锁 控 制 比较 麻 
烦 , 一 个 线程 的 崩溃 会 影响 到 整个 进程 或 者 程序 的 稳定 性 。 


8.2 Vsftpd 服务 器 企业 实战 


文件 传输 协议 (file transfer protocol. FTP) ,基于 该 协议 FTP 客户 端 与 服务 端 可 以 实 
现 共享 文件 .上 传 文件 .下 载 文 件 。FTP 基于 TCP 协议 生成 一 个 虚拟 的 连接 ,主要 用 于 控 
ii] FTP 连接 信息 ,同时 再 生成 一 个 单独 的 TCP 连接 用 于 FTP 数据 传输 。 用 户 可 以 通过 客 
户 端 向 FTP 服务 器 端 上 传 `. 下 载 .删除 文件 ,FTP 服务 器 端 可 以 同时 提供 给 多 人 共享 使 用 。 

FTP 服务 是 client/server( 简 称 C/S) 模 式 , 基 于 FTP 协议 实现 FTP 文件 对 外 共享 及 
传输 的 软件 称 之 为 FTP 服务 器 源 端 ,客户 端 程序 基于 FTP 协议 , 则 称 之 为 FTP 客户 端 ， 
FTP 客户 端 可 以 向 FTP 服务 器 上 传 . 下 载 文件 。 


8.2.1 FTP 传输 模式 
FTP 基于 C/S 模式 ,FTP 客户 端 与 服务 器 端 有 两 种 传输 模式 ,分 别 是 FTP 主动 模式 、 
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FTP 被 动 模式 , 主 被 动 模式 均 是 以 FTP 服务 器 端 为 参照 。FTP 传输 模式 如 图 8-2 所 示 ,其 
中 图 8-2(a) 为 主动 模式 ,图 8-2(b) 为 被 动 模式 。 主 被 动 模式 详细 区 别 如 下 。 


port?» 1024 port 21 


FTP 服 务 端 





port> 1024 






FTP 客 户 端 [COD FTP 服 务 端 


PO 


port>1024 port> 1024 
(b) FTP 被 动 模式 


图 8-2 FTP 传输 模式 


a FTP 主动 模式 : 客户 端 从 一 个 任意 的 端口 NGN 二 1024) 连 接 到 FTP 服务 器 的 port 
21 命令 端口 ,客户 端 开 始 监听 端口 N 十 1, 并 发 送 FTP 命令 “port N 十 1? 到 FTP 服 
务 器 ,FTP 服务 器 以 数据 端口 (20) 连 接 到 客户 端 指定 的 数据 端口 (N 十 1)。 
a FTP 被 动 模式 : 客户 端 从 一 个 任意 的 端口 NON > 1024) £ BEI FTP 服务 器 的 port 
21 命令 端口 ,客户 端 开始 监听 端口 N 十 1 ,客户 端 提交 PASV 命令 ,服务 器 会 开启 一 
个 任意 的 端口 (P1024) ,并 发 送 PORT P 命令 给 客户 端 。 客 户 端 发 起 从 本 地 端口 
N 十 1 到 服务 器 的 端口 P 的 连接 用 来 传送 数据 。 
在 企业 实际 环境 中 ,如 果 FTP 客户 端 与 FTP 服务 端 均 开放 防火 墙 'FTP 需 以 主动 模式 
工作 ,这 样 只 需要 在 FTP 服务 器 端 防火 墙 规则 中 ,开放 20、21 端口 即 可 。 


8.2.2 Vsftpd 服务 器 简介 


目前 主流 的 FTP 服务 器 端 软件 包括 Vsftpd, ProFTPD, PureFTPd, Wuftpd, Server-U 
FTP, FileZilla Server 等 ,其 中 UNIX/Linux 使 用 较为 广泛 的 FTP 服务 器 端 软件 为 Vsftpd。 
非常 安全 的 FTP 服务 进程 (very secure FTP daemon, Vsftpd) ,Vsftpd 是 在 UNIX/ 
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Linux 发 行 版 中 最 主流 的 FTP 服务 器 程序 ,优点 是 小 巧 轻快 安全 易 用 、 稳 定 高 效 、 满 足 企 
业 跨 部 门 .多 用 户 的 使 用 等 。 

Vsftpd 基于 GPL 开源 协议 发 布 ,在 中 小 企业 中 得 到 广泛 的 应 用 。Vsftpd 可 以 快速 上 
手 , 基 于 Vsftpd 虚拟 用 户 方式 ,访问 验证 更 加 安全 。Vsftpd 还 可 以 基于 MySQL 数据 库 作 
安全 验证 ,多 重 安全 防护 。 


8.2.3 Vsftpd 服务 器 安装 配置 


Vsftpd 服务 器 端 











安装 有 两 种 方法 : 一 是 基于 YUM 方式 安装 ; 二 是 基于 源码 编译 安 
: 现 效果 完全 一 样 , 本 文采 用 YUM 安装 Vsftpd, 具 体 步 又 如 下 : 
CD 在 shell 命令 行 执行 如 下 命令 ,如 图 8-3 所 示 








yum install vsftpd* -y 





图 8-3 YUM 安装 Vsftpd ffi 45-3] 

(2) Vsftpd 安装 后 的 配置 文件 路 径 、 启动 Vsftpd 服务 及 查看 进程 是 否 启 动 ,如 图 8-4 
所 示 。 

rpm - ql vsftpd|more 


systemctl restart vsftpd. service 


ps - ef |grep vsftpd 





图 8-4 打印 Vsftpd 软件 安装 后 路 径 
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(3) Vsftpd. conf 默认 配置 文件 详解 如 下 : 
a anonymous enable— YES: 开启 匿名 用 户 访问 。 
a local enable— YES: 启用 本 地 系统 用 户 访问 。 
a write enable— YES: 本 地 系统 用 户 写 入 权限 。 
a local_umask=022; 本 地 用 户 创建 文件 及 目录 默认 权限 掩 码 。 
a dirmessage enable— YES; 打印 目录 显示 信息 ,通常 用 于 用 户 第 一 次 访问 目录 时 , 信 
息 提 示 。 
xferlog_enable= YES: 启用 上 传 / 下 载 日 志 记录 。 
connect from port 20— YES FTP, 使 用 20 端口 进行 数据 传输 。 
xferlog std format— YES; 日 志文 件 将 根据 xferlog 的 标准 格式 写 信 。 
listen— NO; Vsftpd 不 以 独立 的 服务 启动 ,通过 Xinetd 服务 管理 ,建议 改 成 YES. 
listen ipv6 = YES: 启用 IPv6 监听 。 
pam service name— vsftpd: 登录 FTP 服务 器 ,依据 /etc/pam. d/vsftpd 中 内 容 进行 
认证 。 
userlist_enable= YES; vsftpd. user list 和 ftpusers 配置 文件 里 用 户 禁止 访问 FTP. 
tcp_wrappers 二 YES: 设置 Vsftpd 与 tcp wrapper 结合 进行 主机 的 访问 控制 ,Vsftpd 
服务 器 检查 /etc/hosts. allow 和 /etc/hosts. deny 中 的 设置 来 决定 请 求 连接 的 主机 ， 
是 否 允 许 访问 该 FTP 服务 器 。 

OD 启动 Vsftpd 服务 后 ,通过 Windows 客户 端 资源 管理 器 访问 Vsftpd 服务 器 端 ,如 
图 8-5 所 示 。 


D D O D D D 


ftp://192.168.111.131/ 











85 匿名 用 户 访问 FTP 默认 目录 
FTP 主 被 动 模式 的 选择 ,默认 为 主动 模式 ,设置 为 被 动 模式 的 方法 如 下 : 


pasv enable = YES 
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pasv min port = 60000 
pasv max port - 60100 


8.2.4 Vsftpd 匿名 用 户 配 置 


Vsftpd 默认 以 匿名 用 户 访问 ,匿名 用 户 默认 访问 的 FTP 服务 器 发 布 端 路 径 为 /var/ 
ftp/pub, 匿 名 用 户 只 有 查看 权限 ,无 法 创建 .删除 .修改 。 如 需 关 闭 FTP 匿名 用 户 访 问 , 需 
修改 配置 文件 /etc/vsftpd/vsftpd. conf. 4 anonymous_ enable = YES 修改 为 anonymous _ 
enable=NO, EJA Vsftpd 服务 即 可 。 

如 果 允 许 匿名 用 户 能 够 上 传 、 下 载 、. 删 除 文件 , 需 在 /etc/vsftpd/vsftpd. conf 配置 文件 
中 加 入 以 下 代码 ,详解 如 下 : 

a anon upload enable— YES; 允许 匿名 用 户 上 传 文件 。 

a anon_mkdir_write_enable=YES; 允许 匿名 用 户 创建 目录 。 

a anon_other_write_enable= YES: 允许 匿名 用 户 其 他 写 入 权限 。 

匿名 用 户 完整 的 vsftpd. conf 配置 文件 代码 如 下 : 








anonymous_enable = YES 

local enable = YES 

write enable = YES 

local umask - 022 

anon upload enable = YES 

anon mkdir write enable - YES 
anon other write enable = YES 
dirmessage enable = YES 
xferlog enable = YES 
connect from port 20 = YES 
xferlog std format - YES 
listen- NO 

listen ipv6 - YES 

pam service name = vsftpd 
userlist enable = YES 

tcp wrappers - YES 


由 于 默认 Vsftpd 匿名 用 户 有 两 种 : anonymous, ,ftp, 所 以 匿名 用 户 如 果 需 要 上 传 文件 、 
删除 及 修改 等 权限 ,需要 Vsftpd 用 户 对 /var/ftp/pub 目录 有 写 入 权限 ,使 用 chown 和 
chmod 任意 一 种 命令 均 可 设置 权限 ,具体 设置 命令 如 下 : 

chown - R ftp pub/ 

chmod o + w pub/ 

如 上 vsftpd. conf 配置 文件 配置 完毕 ,同时 权限 设置 完毕 ,重启 Vsftpd 服务 即 可 ,通过 
Windows 客户 端 访 问 , 能 够 上 传 文件 、 删 除 文件 .创建 目录 等 操作 ,如 图 8-6 所 示 。 
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] x= | auto pipework new jf nginxsh BB... 
L 











图 8-6 匿名 用 户 访问 上 传 文件 


8.2.5 Vsftpd 系统 用 户 配置 


Vsftpd 匿名 用 户 设置 完毕 ,任何 人 都 可 以 查看 FTP 服务 器 端的 文件 .目录 ,甚至 可 以 
修改 .删除 .文件 和 目录 ,如 何 存放 私密 文件 在 FTP 服务 器 端 ,并 保证 文件 或 者 日 录 专属 于 
拥有 者 呢 ? Vsftpd 系统 用 户 可 以 实现 该 需求 ,解决 上 述 问 题 。 

实现 Vsftpd 系统 用 户 方式 验证 ,只 需 在 Linux 系统 中 创建 多 个 用 户 即 可 ,创建 用 户 使 
用 useradd 指令 ,同时 给 用 户 设置 密码 , 即 可 通过 用 户 和 密码 登录 FTP, 进 行文 件 上 传 、 下 
载 ,删除 等 操作 。Vsftpd 系统 用 户 实现 方法 步骤 如 下 : 

(D Linux 系统 中 创建 系统 用 户 jfedul ,jfedu2 ,分别 设置 密码 为 123456。 


useradd jfedul 
useradd jfedu2 
echo 123456|passwd -- stdin jfedul 
echo 123456|passwd —- stdin jfedu2 


(2) 修改 vsftpd. conf 配置 文件 代码 如 下 : 


anonymous_enable= NO 
local enable = YES 

write enable = YES 

local umask - 022 
dirmessage enable = YES 
xferlog enable = YES 
connect from port 20 - YES 
xferlog std format - YES 
listen- NO 

listen ipv6 - YES 

pam service name = vsftpd 
userlist enable = YES 

tcp wrappers - YES 
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(3) 通过 Windows 资源 客户 端 验 证 ,使 用 jfedul,jfedu2 用 户 登 录 FTP 服务 器 , 即 可 上 
传 文件 ,删除 文件 .下载 文 件 ,jfedul、jfedu2 系统 用 户 上 传 文件 的 家 目录 在 /home/jfedul、 
/home/jfedu2 下 ,如 图 8-7 所 示 。 
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(a) jfedul 登 录 FTP 服 务 器 身份 验证 

















Ë test n L 
xt E zabbix-2.0.6:tar.gz a ipvsadm-1.24tar.gz 
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(b) jfedul 登 录 FTP 服 务 器 上 传 文件 
图 8-7 jfedul 用 户 登录 FTP 服务 器 


8.2.6 Vsftpd 虚拟 用 户 配置 


Vsftpd 基于 系统 用 户 访 问 FTP 服务 器 ,系统 用 户 越 多 越 不 利于 管理 ,而 且 不 利于 系统 
安全 ,为 了 能 更 加 安全 使 用 Vsftpd, 可 以 使 用 Vsftpd 虚拟 用 户 方式 。 

Vsftpd 虚拟 用 户 原理 为 虚拟 用 户 没 有 实际 的 真实 系统 用 户 , 而 是 通过 映射 到 其 中 一 个 
真实 用 户 以 及 设置 相应 的 权限 来 实现 访问 验证 ,虚拟 用 户 不 能 登录 Linux 系统 ,从 而 让 系统 
更 加 的 安全 可 靠 。 
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Vsftpd 虚拟 用 户 企 业 案例 配置 步骤 如 下 : 
(1) 安装 Vsftpd 虚拟 用 户 需要 用 到 的 软件 及 认证 模块 。 


yum install pamx libdb- utils libdb* -- skip- broken - y 
(2) 创建 虚拟 用 户 临 时 文件 /ete/vsftpd/ftpusers.txt, 新 建 虚拟 用 户 和 密码 ,其 中 
jfedu001,jfedu002 为 虚拟 用 户 名 ,123456 为 密码 ,如 果 有 多 个 用 户 , 依 此 格式 填写 即 可 。 


jfedu001 
123456 
jfedu002 
123456 


(3) 生成 Vsftpd 虚拟 用 户 数据 库 认证 文件 ,设置 权限 为 700。 


db load -T -t hash - f /etc/vsftpd/ftpusers. txt /etc/vsftpd/vsftpd_login. db 
chmod 700 /etc/vsftpd/vsftpd login.db 


(4) 配置 PAM 认证 文件 ,/etc/pam. d/vsftpd 行 首 加 入 如 下 两 行 代 码 : 


auth required pam_userdb. so db = /etc/vsftpd/vsftpd login 
account required pam userdb. so db = /etc/vsftpd/vsftpd login 


(5) Vsftpd 虚拟 用 户 需要 映射 到 一 个 系统 用 户 , 该 系统 用 户 不 需要 密码 ,也 不 需要 登 
录 , 主 要 用 于 虚拟 用 户 映射 使 用 ,创建 用 户 命令 如 下 : 


useradd - s /sbin/nologin ftpuser 


(6) 完整 的 vsftpd. conf 配置 文件 代码 如 下 : 





# global config Vsftpd 2017 
anonymous enable = YES 

local enable = YES 

write enable = YES 

local umask = 022 

dirmessage enable = YES 
xferlog enable = YES 
connect from port 20 = YES 
xferlog std format - YES 
listen- NO 

listen ipv6 - YES 

userlist enable = YES 

tcp wrappers - YES 

# config virtual user FTP 

pam service name = vsftpd 
guest enable = YES 

guest username - ftpuser 

user config dir = /etc/vsftpd/vsftpd user conf 
virtual use local privs = YES 
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Vsftpd 虚拟 用 户 配置 文件 参数 详解 如 下 : 

Q pam service name— vsftpd: 虚拟 用 户 启用 pam 认证 。 

Q guest enable— YES: 启用 虚拟 用 户 。 

3 guest username— ftpuser; 映射 虚拟 用 户 至 系统 用 户 ftpuser。 

a user config dir — /etc/vsftpd/vsftpd user conf; 设置 虚拟 用 户 配 置 文件 所 在 的 

目录 。 

Q virtual use local privs— YES: 虚拟 用 户 使 用 与 本 地 用 户 相 同 的 权限 。 

(7) 至 此 ,所 有 虚拟 用 户 共同 使 用 /home/ftpuser 主 目录 实现 文件 上 传 与 下 载 , 可 以 在 
/etc/vsftpd/vsftpd user conf 目录 创建 虚拟 用 户 各 自 的 配置 文件 ,创建 虚拟 用 户 配置 文件 
主 目录 ,代码 如 下 : 


mkdir - p /etc/vsftpd/vsftpd user conf/ 


(8) 以 下 分 别 为 虚拟 用 户 jfedu001 ,jfedu002 创建 配置 文件 。 
vim /etc/vsftpd/vsftpd_user_conf/jfedu001, 同 时 创建 私有 的 虚拟 目录 ,代码 如 下 : 


local root = /home/ftpuser/jfedu001 
write enable = YES 

anon world readable only = YES 
anon upload enable = YES 

anon mkdir write enable = YES 

anon other write enable - YES 


vim /etc/vsftpd/vsftpd_user_conf/jfedu002, 同 时 创建 私有 的 虚拟 目录 ,代码 如 下 : 
local root = /home/ftpuser/jfedu002 

write_enable = YES 

anon world readable only = YES 

anon upload enable = YES 

anon nkdir write enable = YES 

anon other write enable = YES 

虚拟 用 户 配置 文件 内 容 详 解 如 下 : 

a local root — /home/ftpuser/jfedu002; jfedu002 虚拟 用 户 配置 文件 路 径 。 

a write enable— YES: 允许 登录 用 户 有 写 权 限 。 

a anon world readable only— YES; 允许 匿名 用 户 下 载 ,然后 读 取 文 件 。 

a anon upload enable— YES; 允许 匿名 用 户 上 传 文件 权限 ,只 有 在 write enable— 


YES 时 该 参数 才 生效 。 

a anon mkdir write enable— YES: 允许 匿名 用 户 创 建 目录 ,只 有 在 write enable— 
YES 时 该 参数 才 生 效 。 

a anon other write enable YES: 允许 匿名 用 户 其 他 权限 ,例如 删除 、 重 命名 等 。 
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(9) 创建 虚拟 用 户 各 自 虚拟 目录 ,代码 如 下 : 


mkdir -p /home/ftpuser/{jfedu001, jfedu002} ; chown - R ftpuser:ftpuser /home/ftpuser 


重启 Vsftpd 服务 ,通过 Windows 客户 端 资 源 管理 器 登录 Vsftpd 服务 端 ,测试 结果 如 
图 8-8 所 示 。 
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(b) jfedu001 虚 拟 用 户 上 传 下 载 文件 
图 8-8 测试 结果 


第 二 篇 “Linux 进 阶 篇 


Linux 进 阶 篇 总 共 包 含 6 个 章节 ,第 9 一 14 章 学 习 内 容 分 别 为 HTTP 协议 
详解 .Apache Web 服务 器 企业 实战 MySQL 服务 器 企业 实战 .LAMP 企业 架构 
实战 .Zabbix 分 布 式 监控 企业 实战 .Nginx Web 服务 器 企业 实战 。 

读者 通过 对 进 阶 篇 6 个 章节 的 深入 学 习 , 可 以 在 基础 篇 学 习 的 Linux 操作 
系统 管理 的 基础 上 ,快速 上 手 、 独 立 维护 和 管理 企业 各 种 服务 。 例 如 主流 的 
Apache、Nginx Web 服务 器 ,并 可 以 通过 深入 学 习 HTTP 协议 ,掌握 HTTP 底 
层 通信 原理 等 。 

同时 读者 能 熟练 构建 企业 级 数据 库 管理 集群 ,MySQL 主 从 复制 、 一 主 多 
从 、 读 写 分 离 实战 保证 网 站 数据 的 完整 ,对 数据 库 配 置 文件 进行 调 优 、 增 加 索引 
提供 数据 查询 效率 ,如 果 数 据 库 异 常 或 缓慢 ,可 以 基于 MySQL 慢 查 询 日 志 定 位 
SQL, 

进 阶 篇 引入 Redis 高 性 能 缓存 服务 器 ,各 大 互联 网 公司 都 在 使 用 Redis。 熟 
练 掌握 Redis 对 升 职 加 薪 及 提升 网 站 性 能 有 巨大 帮助 ,Redis 缓存 还 可 以 提高 用 
户 访问 Web 网 站 的 效率 ,增强 用 户 体验 。 同 时 随 着 企业 服务 器 不 断 增 加 ,基于 
Zabbix 分 布 式 的 监控 系统 能 够 实时 监控 服务 器 CPU 内存、 硬盘、 网 卡 及 服务 器 上 
各 种 应 用 ,做 到 有 故障 第 一 时 间 给 相关 人 员 发 送 微 信 报警 ,并 第 一 时 间 处 理 问 题 。 

互联 网 主流 Web 服务 器 软件 Nginx, 得 到 各 大 企业 SA 的 青睐 ,应 用 非常 广 
泛 , 因 此 深入 掌握 Nginx, 对 运 维 能 力 的 提升 帮助 是 非常 大 的 。 通 过 对 进 阶 篇 中 
Nginx 的 深入 学 习 , 读 者 能 够 熟练 掌握 Nginx 的 工作 原理 ,安装 配置 .管理 升级 、 
负载 均衡 动静 分 离 .虚拟 主机 、 参 数 调 优 、Nginx location, Nginx rewrite, EH £ 
切割 、 防 盗 链 、HTTPS 等 核心 技术 ,更 好 地 维护 生产 环境 Nginx 高 性 能 Web JR 
$B. 


(o4 |O HTTP 协议 详解 








超 文本 传输 协议 (hypertext transfer protocol,HTTP) 是 在 互联 网 上 应 用 最 为 广泛 的 一 
种 网 络 协议 。 所 有 的 WWW 服务 器 都 基于 该 协议 。HTTP 设计 最 初 的 目的 是 提供 一 种 发 
布 Web 页 面 和 接收 Web 页 面 的 方法 。 

本 章 向 读者 介绍 TCP.HTTP 协议 .HTTP 资源 定位 ,HTTP 请 求 及 响应 头 详细 信息 、 
HTTP 状态 码 及 MIME 类 型 详解 等 内 容 。 


9.1 TCP 协 议 与 HTTP 协议 


1960 年 ,美国 人 Ted Nelson 构思 了 一 种 通过 计算 机 处 理 文本 信息 的 方法 ,并 称 之 为 超 
文本 (hypertext) ,为 HTTP 超 文本 传输 协议 标准 架构 的 发 展 奠 定 了 根基 。Ted Nelson 组 
织 协调 万 维 网 协会 (World Wide Web Consortium) 和 互联 网 工程 工作 小 组 (Internet 
Engineering Task Force ) 共 同 合作 研究 .最 终 发 布 了 一 系列 的 RFC, 其 中 著名 的 RFC 2616 
定义 了 HTTP 1.1, 

很 多 读者 对 TCP 协议 与 HTTP 协议 存在 疑问 ,这 两 者 有 何 区 别 , 从 应 用 领域 来 说 ， 
TCP 协议 主要 用 于 数据 传输 控制 ,而 HTTP 协议 主要 用 于 应 用 层面 的 数据 交互 ,本 质 上 两 
者 没有 可 比 性 。 

HTTP 协议 属于 应 用 层 协议 .是 建立 在 TCP 协议 基础 之 上 的 ,HTTP 协议 以 客户 端 请 
求 和 服务 器 端 应 答 为 标准 .浏览 器 通常 称 为 客户 端 ,而 Web 服务 器 称 之 为 服务 器 端 。 客 户 
端 打开 任意 一 个 端口 向 服务 端的 指定 端口 (默认 为 80) 发 起 HTTP 请 求 ,首先 会 发 起 TCP 
三 次 握手 ,TCP 三 次 握手 的 目的 是 建立 可 靠 的 数据 连接 通道 ,TCP 三 次 握手 通道 建立 完毕 ， 
进行 HTTP 数据 交互 ,如 图 9-1 所 示 。 

当 客户 端 请 求 的 数据 接收 完毕 后 ,HTTP 服务 器 端 会 断 开 TCP 连接 ,整个 HTTP 连接 
过 程 非常 短 。HTTP 连接 也 称 为 无 状态 的 连接 .无 状态 连接 是 指 客户 端 每 次 向 服务 器 发 起 
HTTP 请 求 时 ,每 次 请 求 都 会 建立 一 个 新 的 HTTP 连接 ,而 不 是 在 一 个 HTTP 请 求 基础 上 
进行 所 有 数据 的 交互 。 
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图 9-1 HTTP,TCP 协议 关系 
9.2 资源 定位 标识 符 


HTTP 请 求 的 内 容 资源 由 统一 资源 标示 符 (uniform resource identifiers,URI) 来 标识 ， 
关于 资源 定位 及 标识 有 三 种 : URI、URN URL ,三 种 资源 定位 详解 如 下 : 
a 统一 资源 标识 符 (uniform resource identifier. URD ,用 来 唯一 标识 一 个 资源 ; 
a 统一 资源 定位 器 (uniform resource locator, URL), 是 一 种 具体 的 URI, URL 可 以 用 
来 标识 一 个 资源 ,而 且 可 以 访问 或 者 获取 该 资源 ; 
a 统一 资源 命名 (uniform resource name, URN) ,通过 名 字 来 标识 或 识别 资源 。 
如 图 9-2 所 示 ,可 以 直观 区 分 URILURN.URL 的 区 别 。 


URN URL 


jfedu.net/main.html http://jfedu.net/main.html 


jfteach.com/logo.png http://jfleach.com/logo.png 





图 9-2 URILURN.URL 关联 与 区 别 
三 种 资源 标识 ,其 中 URL 资源 标识 方式 使 用 最 为 广泛 ,完整 的 URL 标识 格式 如 下 : 
protocol ://host[ :port]/path/.../[?query - string][ # anchor] 
参数 详解 如 下 : 
protocol. 基于 某 种 协议 ,常见 协议 有 HTTP、HTTPS、FTP、RSYNC 等 。 
a host; 服务 器 的 IP 地 址 或 者 域名 。 
a port; 服务 器 的 端口 号 ,如 果 是 HTTP 80 端口 ,默认 可 以 省 略 。 
a path: 访问 资源 在 服务 器 的 路 径 。 
日 
口 


D 


query-string: 传递 给 服务 器 的 参数 及 字符 串 。 
anchor-: 锚 定 结束 。 
HTTP URL 案例 演示 如 下 : 
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http://www. jfedu. net/newindex/plus/list. php? tid=2#jfedu 
参数 对 应 关系 如 下 : 

Q protocol: HTTP 协议 。 

a host: www. jfedu. net, 

Q path: /newindex/plus/list. php. 

Q query-string: tid—2, 
a 


anchor; jfedu. 


9.3 HTTP 与 端口 通信 


HTTP Web 服务 器 默认 在 本 机 会 监听 80 端口 ,不 仅 HTTP 会 开启 监听 端口 ,其 实 每 
个 软件 程序 在 Linux 系统 中 运行 ,会 以 进程 的 方式 启动 ,程序 就 会 启动 并 监听 本 地 接口 的 端 
口 ,那么 为 什么 会 引入 端口 这 个 概念 呢 ? 

端口 是 TCP/IP 协议 中 应 用 层 进 程 与 传输 层 协 议 实体 间 的 通信 接口 ,端口 是 操作 系统 
可 分 配 的 一 种 资源 ,应 用 程序 通过 系统 调用 与 某 个 端口 绑 定 后 ,传输 层 传 给 该 端口 的 数据 会 
被 该 进程 接收 ,相应 进程 发 给 传输 层 的 数据 都 通过 该 端口 输出 o 

在 网 络 通信 过 程 中 ,需要 唯一 识别 通信 两 端 设备 的 端点 ,就 是 使 用 端口 识别 运行 于 某 主 
机 中 的 应 用 程序 。 如 果 没 有 引入 端口 , 则 只 能 通过 PID 进程 号 进行 识别 ,而 PID 进程 号 是 
系统 动态 分 配 的 ,不同 的 系统 会 使 用 不 同 的 进程 标识 符 ,应 用 程序 在 运行 之 前 没有 明确 的 进 
程 号 ,如 果 需 要 运行 后 青 广播 进程 号 则 很 难保 证 通信 的 顺利 进行 。 

而 引入 端口 后 ,就 可 以 利用 端口 号 识别 应 用 程序 ,同时 通过 固定 端口 号 来 识别 和 使 用 某 
些 公共 服务 ,例如 HTTP 默认 使 用 80 端口 ,而 FTP 使 用 21,20 端口 ,MySQL 则 使 用 3306 
H. 

使 用 端口 还 有 一 个 原因 就 是 随 着 计算 机 网 络 技术 的 发 展 , 物 理 机 器 上 的 硬件 接口 已 不 

能 满足 网 络 通信 的 要 求 ,而 TCP/IP 协议 模型 作为 网 络 通信 的 标准 就 解决 了 这 个 通信 难题 。 

TCP/IP 协议 中 引入 了 一 种 被 称 为 套 接 字 (socket) 的 应 用 程序 接口 。 基 于 socket 接口 
技术 ,一 台 计 算 机 就 可 以 与 任何 一 台 具 有 socket 接口 的 计算 机 进行 通信 ,而 监听 的 端口 在 
服务 器 端 也 称 之 为 socket 接口 。 


E 





9.4 HTTP request 5 response 详解 


客户 端 浏览 器 向 Web 服务 器 发 起 request. Web 服务 器 接 到 request 后 进行 处 理 , 会 生 
成 相应 的 response 信息 返 给 浏览 器 ,客户 端 浏 览 器 收 到 服务 器 返回 的 response 信息 ,会 对 
信息 进行 解析 处 理 , 最 终 用 户 看 到 浏览 器 展示 W eb 服务 器 的 网 页 内 容 。 

客户 端 发 起 request. request 消息 分 为 3 个 部 分 ,分 别 包 括 request line, request header, 
body, 如 图 9-3 所 示 。 
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法 | 空格 | wu [| won | 回 车 符 | 换行 符 | pets 
XWTHR: fi 回 车 符 | 换行 符 
请 求 头 部 
头 部 字段 名 |: fü 回 车 符 | 换行 符 
回 车 符 | 换行 符 
请 求 数据 











图 9-3 HTTP request message 组 成 


UNIX/Linux 系统 中 执行 curl -v 命令 可 以 打印 访问 Web 服务 器 的 request 及 response 
详细 处 理 流程 ,命令 如 下 ,流程 如 图 9-4 所 示 。 


curl -v http://192.168. 111. 131/index. html 





图 9-4 request X response 请 求 回应 流程 





详解 如 表 9-1 所 示 。 

表 9-1 request 请 求 头 详解 
GET/index. html HTTP/1. 1 W R íT 
User-Agent; curl/7. 29. 0 
Host: 192. 168. 111. 131 


(1) request fii É 








请 求 头 部 
Accepi 





request message 





空 行 


请 求 body 














BAA: 

a 第 一 部 分 : 请 求 行 ,指定 请 求 类 型 .访问 的 资源 及 使 用 的 HTTP 协议 版 本 。GET 表示 request 请 求 类 型 为 GET; 

访问 的 资源 ; HTTP/1. 1 表示 协议 版 本 。 

O 第 二 部 分 : 请 求 头 部 ,请 求 行 下 一 行 起 ,指定 服务 器 要 使 用 的 附加 信息 。UserAgent 表示 用 户 使 用 的 代理 软件 ， 
常 指 浏览 器 : HOST 表示 请 求 的 目的 主机 。 

口 第 三 部 分 : 空 行 ,请 求 头 部 后 面 的 空 行 表示 请 求 头发 送 完毕 。 

口 第 四 部 分 : 请 求 数据 也 叫 body, 可 以 添加 任意 的 数据 ,Get 请 求 的 body 内 容 默 认为 空 。 


/index. html 
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(2) response 信息 详解 如 表 9-2 所 示 。 
3X 9-2. response 请 求 头 详 解 























HTTP/1.1 200 OK 响应 行 
Server: Apache/2. 2.32 
Date: Tue, 09 May 2017 . 
3 响应 头 部 
Content-Type: text/html response message 
> 空 行 
< hl > www. jfl. com Pages </hl > 响应 body 
HH: 


O 第 一 部 分 : 响应 状态 行 ,包括 HTTP WEEKS REB REH. HTTP/1.1 表示 HTTP 协议 版 本 号 ; 200 
表示 返回 状态 码 ; OK 表示 状态 消息 。 

口 第 二 部 分 : 消息 报头 ,响应 头 部 附加 信息 。Date 表示 生成 响应 的 日 期 和 时 间 ; Content-Type 表示 指定 MIME 类 
型 的 HTML(text/htmD) ,编码 类 型 是 UTF-8, 记 录 文 件 资源 的 Last-Modified 时 间 。 

口 第 三 部 分 : 空 行 ,表示 消息 报头 响应 完毕 。 

O 第 四 部 分 : 响应 正文 ,服务 器 返回 给 客户 端的 文本 信息 。 


(3) request 请 求 方法 根据 请 求 的 资源 不 同 , 有 如 下 请 求 方法 。 

GET 方法 : 向 特定 的 资源 发 出 请 求 ,获取 服 务 器 端 数据 。 

POST 方法 : 向 Web 服务 器 提交 数据 进行 处 理 请 求 , 常 指 提交 新 数据 。 

PUT 方法: 向 Web 服务 器 提交 上 传 最 新 内 容 , 常 指 更 新 数据 。 

DELETE 方法 : 请 求 删除 request-URL 所 标识 的 服务 器 资源 。 

TRACE 方法 : 回 显 服 务 器 收 到 的 请 求 ,主要 用 于 测试 或 诊断 。 

CONNECT 方法 : HTTP/1. 1 协议 中 预 留 给 能 够 将 连接 改 为 管道 方式 的 代理 服 
务 器 。 

OPTIONS 方法 : 返回 服务 器 针对 特定 资源 所 支持 的 HTTP 请 求 方法 。 

a HEAD 方法: HEAD 方法 跟 GET 方法 相同 ,只 不 过 服务 器 响应 时 不 会 返回 消息 体 。 


D 0 DDD D 


D 


9.5 HTTP 1.0/1.1 协议 区 别 


HTTP 协议 定义 服务 器 端 和 客户 端 之 间 文 件 传输 的 沟通 方式 ,HTTP 1.0 运行 方式 ， 
如 图 9-5 所 示 。 


客户 端 
图 9-5 HTTP 1.0 客 户 端 服务 器 传输 模式 





120 <| 曝光: Linux 企 业 运 维 实战 


说 明 如 下 : 

a 基于 HTTP 协议 的 客户 /服务 器 模式 的 信息 交换 过 程 ,如 图 9-5 所 示 , 它 分 为 4 个 过 
程 , 即 建立 连接 ,发送 请 求 信息 ,发送 响应 信息 ,关闭 连接 。 

a 浏览 器 与 Web 服务 器 的 连接 过 程 是 短暂 的 ,每 次 连接 只 处 理 一 个 请 求 和 响应 。 对 每 
一 个 页 面 的 访问 ,浏览 器 与 Web 服务 器 都 要 建立 一 次 单独 的 连接 。 

a 浏览 器 到 Web 服务 器 之 间 的 所 有 通信 都 是 完全 独立 分 开 的 请 求 和 响应 。 

HTTP 1. 1 运行 方式 ,如 图 9-6 所 示 。 





服务 器 器 


图 9-6 HTTP 1.1 客户 端 \ 服 务 器 传输 模式 
说 明 如 下 : 
a 在 一 个 TCP 连接 上 可 以 传送 多 个 HTTP 请 求 和 响应 ; 
a 多 个 请 求 和 响应 过 程 可 以 重 琶 ; 
a 增加 了 更 多 的 请 求 头 和 响应 头 , 比 如 Host, If-Unmodified-Since 请 求 头 等 。 


9.6 HTTP 状态 码 详解 


HTTP 152555 C HTTP status code) 是 用 来 表示 Web 服务 器 HTTP response 状态 的 
3 位 数字 代码 ,常见 的 状态 码 范 围 分 类 如 下 : 


a 100—199, 用 于 指定 客户 端 相应 的 某 些 动作 。 

a 200—299; 用 于 表示 请 求 成 功 。 

a 300—399; 已 移动 的 文件 且 被 包含 在 定位 头 信息 中 指定 新 的 地 址 信息 。 
a 400 一 499: 用 于 指出 客户 端的 错误 。 

a 500—599; 用 于 支持 服务 器 错误 。 


HTTP 协议 response 常用 状态 码 详解 如 表 9-3 所 示 。 
表 9-3 HTTP 常用 状态 码 











HTTP 状态 码 状态 码 英文 含义 状态 码 中 文 含义 
| HTTP/1. 1 新 增 状态 码 , 表示 继续 ,客户 端 继续 请 求 
100 continue 
HTTP 服务 器 
301 "m "T 服务 器 根据 客户 端的 请 求 切换 协议 ,切换 到 HTTP 的 新 
s ing protocols 
SEAT 版 本 协议 
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ET 
HTTP 状态 码 状态 码 英文 含义 状态 码 中 文 含义 
200 ok HTTP 请 求 完 成 ,常用 于 GET, POST 请 求 中 
301 moved permanently 永久 移动 ,请求 的 资源 已 被 永久 的 移动 到 新 URI 
302 found 临时 移动 ,资源 临时 被 移动 ,客户 端 应 继续 使 用 原 有 URI 
"— 文件 未 修改 ,请 求 的 资源 未 修改 ,服务 器 返回 此 状态 码 
时 ,常用 于 缓存 
400 bad request 客户 端 请 求 的 语法 错误 ,服务 器 无 法 解析 或 者 访问 
401 unauthorized 请 求 要 求 用 户 的 身份 认证 
402 payment required 此 状态 码 保留 ,为 以 后 使 用 
403 forbidden 服务 器 理解 请 求 客户 端的 请 求 , 但 是 拒绝 执行 此 请 求 
404 not found 服务 器 没有 该 资源 ,请 求 的 文件 找 不 到 
405 method not allowed 客户 端 请 求 中 的 方法 被 禁止 
406 not acceptable 服务 器 无 法 根据 客户 端 请 求 的 内 容 特 性 完成 请 求 
499 client has closed connection | 服务 器 端 处 理 的 时 间 过 长 
500 internal server error 服务 器 内 部 错误 ,无 法 完成 请 求 
502 bad gateway 服务 器 返回 错误 代码 或 者 代理 服务 器 错误 的 网 关 
503 service unavailable 服务 器 无 法 响应 客户 端 请 求 , 或 者 后 端 服务 器 异常 
504 gateway time-out 网 关 超时 或 者 代理 服务 器 超时 
505 HTTP version not supported | 服务 器 不 支持 请 求 的 HTTP 协议 的 版 本 ,无 法 完成 处 理 


9.7 HTTP MIME 类 型 支持 


浏览 器 接收 到 Web 服务 器 的 response 信息 ,浏览 器 会 进行 解析 ,在 解析 页 面 之 前 , 浏 
览 器 必须 启动 本 地 相应 的 应 用 程序 来 处 理 获 取 到 的 文件 类 型 。 

基于 多 用 途 互 联网 邮件 扩展 类 型 (multipurpose internet mail extensions. MIME) ,可 以 
明确 某 种 文件 在 客户 端 用 某 种 应 用 程序 来 打开 , 当 该 扩展 名 文件 被 访问 的 时 候 , 浏 览 器 会 自 
动 使 用 指定 应 用 程序 来 打开 ,设计 之 初 是 为 了 在 发 送 电子 邮件 时 附加 多 媒体 数据 ,让 邮件 客 
户 程序 能 根据 其 类 型 进行 处 理 。 然 而 当 它 被 HTTP 协议 支持 后 , 它 使 得 HTTP 传输 的 不 
仅 是 普通 的 文本 ,可 以 支持 更 多 文件 类 型 .多 媒体 音 、 视 频 等 。 

在 HTTP Response 消息 中 , MIME 类 型 被 定义 在 Content-Type header 中 ,例如 
Content-Type: text/html, 表 示 默 认 指 定 该 文件 为 HTML 类 型 ,在 浏览 器 端 会 以 HTML 
格式 来 处 理 。 

在 最 早 的 HTTP 协议 中 ,并 没有 附加 的 数据 类 型 信息 ,所 有 传送 的 数据 都 被 客户 程序 
解释 为 超 文本 标记 语言 HTML 文档 ,为 了 支持 多 媒体 数据 类 型 ,新 版 HTTP 协议 中 就 使 用 
了 附加 在 文档 之 前 的 MIME 数据 类 型 信息 来 标识 数据 类 型 ,如 表 9-4 所 示 。 
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表 9-4 HTTP MIME 类 型 详解 





MIME typesC MIME 类 型 ) 


dateiendung (扩展 名 ) 


bedeutung( 备 注 ) 





application/ msexcel 


*.xls *.xla 


Microsoft Excel Dateien 





application/ mshelp 


*.hlp *.chm 


Microsoft Windows Hilfe Dateien 





application/ mspowerpoint 


*.ppt *.ppz *.pps *. pot 


Microsoft Powerpoint Dateien 





application/ msword 


*.doc * .dot 


Microsoft Word Dateien 





application/octet-stream 


*.exe 


exe 





application/ pdf. 


* .pdf 


Adobe PDF-Dateien 





application/ post 


*.ai *.eps *.ps 


Adobe Post™" -Dateien 





application/rtf 


*.rtf 


Microsoft RTF-Dateien 





application/ x-httpd-php 


PHP-Dateien 





application/ x-java 


*.php *. phtml 


*.js 


serverseitige Java™" -Dateien 





application/ x-shockwave-flash 


*.swf *.cab 


Flash Shockwave-Dateien 





application/zip 


*.zp 


ZIP-Archivdateien 





audio/ basic 


*.au *.snd 


Sound- Dateien 






































audio/mpeg * .mp3 MPEG-Dateien 
audio/ x-midi *.mid x .midi MIDLDateien 
audio/ x-mpeg *.mp2 MPEG-Dateien 
audio/ x- wav * wav Wav-Dateien 
image/gif *.gif GIF-Dateien 
image/jpeg *.jpeg *.jpg *.jpe JPEG-Dateien 
image/x-windowdump *.xwd X-Windows Dump 
text/css *.css CSS Stylesheet-Dateien 
text/html * htm *,html *.shtml -Dateien 
text/java"*"** *.js Java -Dateien 
text/plain *.txt reine Textdateien 





video/ mpeg 


*.mpeg *.mpg *.mpe 


MPEG-Dateien 





video/ vnd. rn-realvideo 


*.rmvb 


realplay-Dateien 





video/quicktime 


*.qt *.mov 


Quicktime-Dateien 





video/ vnd. vivo 








* viv *.vivo 


Vivo-Dateien 
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万 维 网 (world wide web,WWW) 服 务 器 ,也 称 之 为 Web 服务 器 ,主要 功能 是 提供 网 上 
信息 浏览 服务 。WWW 是 Internet 的 多 媒体 信息 查询 工具 ,是 Internet 上 飞快 发 展 的 服务 ， 
也 是 目前 应 用 最 广泛 的 服务 。 正 是 因为 有 了 WWW 软件 , 才 使 得 近年 来 Internet 迅速 
发 展 。 

目前 主流 的 Web 服务 器 软件 包括 Apache, Nginx, Lighttpd, IIS, Resin, Tomcat, 
WebLogic Jetty 等 。 

本 章 向 读者 介绍 Apache Web 服务 器 发 展 历 史 、Apache 工作 模式 深入 剖析 、Apache Ë 
拟 主 机 ,配置 文件 详解 及 Apache rewrite 企业 实战 等 内 容 。 


10.1 Apache Web 服务 器 入 门 简介 


Apache HTTP server 是 Apache 软件 基金 会 的 一 个 开源 的 网 页 服务 器 ,可 以 运行 在 几 
乎 所 有 广泛 使 用 的 计算 机 平台 上 ,由 于 其 跨 平台 和 安全 性 被 广泛 使 用 ,是 目前 最 流行 的 
Web 服务 器 端 软件 之 一 。 

Apache 服务 器 是 一 个 多 模块 化 的 服务 器 .经 过 多 次 修改 ,成 为 目前 世界 使 用 排名 第 一 
的 Web 服务 器 软件 。Apache JR A “a patchy server” 的 读音 , 即 充满 补丁 的 服务 器 ,因为 
Apache 基于 GPL 发 布 ,大 量 开发 者 不 断 为 Apache 贡献 新 的 代码 、 功 能 、 新 的 特性 、 修 改 原 
来 的 缺陷 。 

Apache 服务 器 的 特点 是 使 用 简单 .速度 快 ,性 能 稳定 ,可 以 作为 负载 均衡 及 代理 服务 器 
来 使 用 。 


10.2 Prefork MPM 工作 原理 


每 辆 汽车 都 有 发 动机 引擎 ,不 同 的 引擎 ,对 车 子 运行 效率 也 不 一 样 ,同样 Apache 也 有 
类 似 工作 引擎 或 者 处 理 请 求 的 模块 . 称 之 为 多 路 处 理 模块 (multi-processing modules. 
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MPM) Apache Web 服务 器 有 三 种 处 理 模块 : Prefork MPM, Worker MPM,Event MPM, 

在 企业 中 Apache 最 常用 的 处 理 模块 为 Prefork MPM 和 Worker MPM. Event MPM 
不 支持 HTTPS 方式 ,官网 也 给 出 “This MPM is experimental. so it may or may not work 
as expected” 的 提示 ,所 以 Event MPM 很 少 被 使 用 。 

默认 Apache 处 理 模块 为 Prefork MPM 方式 , Prefork 采用 的 预 派 生子 进程 方式 ， 
Prefork 用 单独 的 子 进程 来 处 理 不 同 的 请 求 ,进程 之 间 是 彼此 独立 的 ,所 以 比较 稳定 。 

Prefork MPM 的 工作 原理 : 控制 进程 Master 在 最 初 建立 “StartServers” 个 进程 后 ,为 
了 满足 MinSpareServers 设置 的 最 小 空闲 进程 ,所 以 需 创建 第 一 个 空闲 进程 ,等 待 一 秒 钟 ， 
继续 创建 两 个 ,再 等 待 一 秒 钟 ,继续 创建 四 个 ,依次 按照 递增 指数 级 创建 进程 数 ,最 多 每 秒 同 
时 创建 32 个 空闲 进程 ,直到 满足 至 少 有 MinSpareServers 设置 的 值 为 止 。 

Apache 的 预 派生 模式 (Prefork) ,基于 预 派生 模式 不 必 在 请 求 到 来 时 再 产生 新 的 进程 ， 
从 而 减 小 了 系统 开销 以 增加 性 能 ,不 过 由 于 Prefork MPM 引擎 是 基于 多 进程 方式 提供 对 外 
服务 ,每 个 进程 占 内 存 也 相对 较 高 。 


10.3 Worker MPM 工作 原理 


相对 于 Prefork MPM. Worker 方式 是 2. 0 版 中 全 新 的 支持 多 线程 和 多 进程 混合 模型 
的 MPM., 由 于 使 用 线程 来 处 理 ,所 以 可 以 处 理 海量 的 HTTP 请 求 ,而 系统 资源 的 开销 要 小 
于 基于 Prefork 多 进程 的 方式 。Worker 也 是 基于 多 进程 ,但 每 个 进程 又 生成 多 个 线程 ,这 
样 可 以 保证 多 线程 可 以 获得 进程 的 稳定 性 。 
Worker MPM 的 工作 原理 : 控制 进程 Master 在 最 初 建立 “StartServers” 个 进程 ,每 个 
进程 会 创建 ThreadsPerChild 设置 的 线程 数 ,多 个 线程 共享 该 进程 内 存 空间 ,同时 每 个 线程 
独立 地 处 理 用 户 的 HTTP 请 求 。 为 了 不 在 请 求 到 来 时 再 生成 线程 , Worker MPM 也 可 以 
设置 最 大 最 小 空闲 线程 。 
Worker MPM 模式 下 同时 处 理 的 请 求 总 数 = 进 程 总 数 * ThreadsPerChild, 也 即 等 于 
MaxClients。 如 果 服 务 器 负载 很 高 ,当前 进程 数 不 满 足 需求 ,Master 控制 进程 会 fork 新 的 
进程 ,最 大 进程 数 不 能 超过 ServerLimit 数 , 如 果 需 调整 的 StartServers 进程 数 , 需 同时 调整 
ServerLimit ffi 。 
Prefork MPM 与 Worker MPM 引擎 区 别 总 结 如 下 : 
a Prefork MPM 模式 : 使 用 多 个 进程 ,每 个 进程 只 有 一 个 线程 ,每 个 进程 在 某 个 确定 
的 时 间 只 能 维持 一 个 连接 ,优点 是 稳定 ,但 内 存 开销 较 高 。 

a Worker MPM 模式 : 使 用 多 个 进程 ,每 个 进程 包含 多 个 线程 ,每 个 线程 在 某 个 确定 
的 时 间 只 能 维持 一 个 连接 ,内 存 占用 量 比较 小 ,适合 大 并 发 ,高 流量 的 Web 服务 器 。 
Worker MPM 缺点 是 一 个 线程 崩溃 ,整个 进程 就 会 连同 其 任何 线程 一 起 挂 掉 。 
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10.4 Apache Web 服务 器 安装 


从 Apache 官方 分 站 点 下 载 目前 稳定 版 本 httpd-2. 2. 32 版 本 ,目前 最 新 版 本 为 2.4 版 
本 ,下 载 地 址 如 下 : http://mirrors. hust. edu. cn/apache/httpd/httpd-2. 2. 32. tar. bz2。 
Apache Web 服务 器 安装 步骤 详解 如 下 : 
2.32. tar. bz2; tar 工具 解压 httpd 包 。 
Q cd httpd-2. 2.32/: 进入 解压 后 目录 。 


Q yum install apr apr-devel apr-util apr-util-devel -y; 


a tar -xjvf httpd-2 





装 apr 相关 移植 库 模 块 。 

q ./configure - -prefix = /usr/local/apache2/ --enable-rewrite - -enable-so: 预 编译 
Apache. Ji H] rewrite 规则 、 启 用 动态 加 载 库 

Q make: 编译 

a make install; 安装 


Apache2. 2. 32 安装 完毕 ,如 图 10-1 所 示 








图 10-1 Apache2 





2 安装 图 解 
启动 Apache 服务 .临时 关闭 SELinux, firewalld 防火 墙 ,命令 如 下 : 


/usr/1ocal/apache2/bin/apachectl start 
setenforce 0 


systemctl stop firewalld. service 


查看 Apache 服务 进程 ,通过 客户 端 浏 览 器 访问 http: / /192. 168. 111. 131/ ,如 图 10-2 所 示 。 


(a) Apache 启 动 及 查看 进程 


图 10-2 查看 Apache Web 服务 器 
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Jf 102168.111131 | 
V 


< Q | D http://192.168.111.131 
ii 应 用 G Google “F IBM developerWor Q? nhm [FEE @ Fin W Lin dEisS 





It works! 


(b) 浏览 器 访问 Apache Web 服 务 器 


图 10-2 (4D 


10.5 Apache 虚拟 主机 企业 应 用 


企业 真实 环境 中 ,一 台 Web 服务 器 发 布 单个 网 站 非常 浪 型 
-会 发 布 多 个 网 站 , 少 则 3 一 5 个 ,多 则 2 一 30 个 网 站 。 在 一 台 
为 部 署 多 个 虚拟 主机 ,Web 虚拟 主机 配置 方法 有 以 下 三 种 : 

a 基于 单 IP 多 个 socket 端口 ; 

9 基于 多 IP 地 址 一 个 端口 ; 

a 基于 单 IP 一 个 端口 不 同 域名 

其 中 基于 同一 端口 不 同 域名 的 方式 在 企业 中 得 到 广泛 应 用 ,以 下 为 基于 一 个 端 
域名 ,在 一 台 Apache Web 服务 器 上 部 署 多 个 网 站 ,步骤 如 下 : 





JI 








资源 ,所 以 一 台 Web 服务 器 
有 务 器 上 发 布 多 网 站 ,也 称 之 


(1) 创建 虚拟 主机 配置 文件 httpd-vhosts. conf, 该 文件 默认 已 存在 ,只 需 去 掉 httpd. 


conf 配置 文件 中 的 并 号 即 可 ,如 图 10-3 所 示 。 
ser home directories 
de conf/extra/httpd-userdir.conf 


ime info on req and configuration 
conf/extra/httpd-info 


# virtual ho 
Include conf ra/http 


1 access to the Apache H Server Manual 
#Include conf/extra/httpd-manual .conf 


ributed authoring and versioning (webDAV) 
conf/extra/httpd-dav.conf 





图 10-3 httpd. conf 配置 文件 开启 虚拟 主机 


E 


(2) 修改 配置 文件 /usr/1local/apache2/conf/extra/httpd-vhosts. conf 中 代码 ,设置 如 下 :; 


NameVirtualHost * :80 
<VirtualHost * :80> 
ServerAdmin support@ jfedu. net 
DocumentRoot "/usr/local/apache2/htdocs/jf1" 
ServerName www. jf1. com 
ErrorLog "logs/www.jfl.com error log" 
CustomLog "logs/www. jf1. com access log" common 


第 10 章 Apache Web 服 务 器 企业 实战 |f» 127 


</VirtualHost> 
<VirtualHost * :80> 
ServerAdmin support @ jfedu. net 
DocumentRoot "/usr/local/apache2/htdocs/jf2" 
ServerName www. jf2. com 
ErrorLog "logs/www.jf2.com error log" 
CustomLog "logs/www. jf2. com access log" common 
«/VirtualHost» 


httpd-vhosts. conf 参数 详解 如 下 : 
NameVirtualHost * :80: 开启 虚拟 主机 ,并 且 监 听 本 地 所 有 网 卡 接口 的 80 端口 。 
<VirtualHost * :80 >; 虚拟 主机 配置 起 始 。 
ServerAdmin support@jfedu. net; 管理 员 邮 箱 。 
DocumentRoot "/usr/local/apache2/htdocs/jf1"; 虚拟 主机 发 布 目录 。 
ServerName www. jf1. com; 虚拟 主机 完整 域名 。 
ErrorLog "logs/www. jf1. com error log": 错误 日 志 路 径 及 文件 名 。 
CustomLog "logs/ www. jfl. com access log" common: 访问 日 志 路 径 及 文件 名 。 
</VirtualHost >; 虚拟 主机 配置 结束 。 

(3) 创建 www. jfl. com 及 www. jf2. com 发 布 目录 ,重启 Apache 服务 ,并 分 别 创建 
index. html 页 面 ,命令 如 下 : 


a 
a 
a 
a 
a 
a 
a 
a 


mkdir - p /usr/local/apache2/htdocs/(jf1, j£2}/ 
/usr/local/apache2/bin/apachectl restart 

echo "< hl > www. jf1. com Pages </hl >" »/usr/1ocal/apache2/htdocs/jf1/index. html 
echo "< hl > www. jf2. com Pages </hl >" »/usr/1ocal/apache2/htdocs/j£2/ index. html 


(A) Windows 客户 端 设置 hosts 映射 ,将 www. jfl. com, www. jf2. com 与 192. 168. 
111. 131 IP 进行 映射 绑 定 , 映 射 的 目的 将 域名 跟 IP 进行 绑 定 , 在 浏览 器 可 以 输入 域名 ,不 需 
要 输入 IP 地 址 , 绑 定 方法 是 在 “C:\Windows\System32\drivers\etc” 文 件 夹 中 ,使 用 记事 本 
编辑 hosts 文件 ,加 入 如 下 代码 ,如 图 10-4 所 示 。 


192.168. 111.131 www. jf1. com 
192.168. 111.131 www. jf2. com 


SAN ERU 
ləcja 








2 [192.168.111.131 www.jfl.com 
192.168.111.131 www.jf2.com 








图 10-4 Windows 主机 hosts 配置 
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(5) 浏览 器 访问 www. jf1. com、www. jf2. com. {A 10-5 所 示 , 至 此 Apache 基于 多 域 
名 虚拟 主机 配置 完毕 ,如 果 还 需 添加 虚拟 主机 .直接 复制 其 中 一 个 虚拟 主机 配置 ,修改 Web 
发 布 目录 即 可 。 


D wwwjfl.com x 
€ a | © wwwjfl.com 
ii 应 用 G Google “F IBM developerWor @ nudim mik J 京 姓 教育 Linux 运 加 于 


www.jfl.com Pages 








(a) www.jfl,com 网 站 返回 内 容 


D] wwwjfzcom x 
€ cio wwwjf2.com 
T] 应 用 G Google “R IBM developerWor @ Linu (Rae  mISRRURnodiES 


www.jf2.com Pages 














(b) www. jf2.com [3j [a] [A] £ 


图 10-5 网 站 返回 内 容 


10.6 Apache 常用 目录 学 习 


Apache 可 以 基于 源码 安装 、YUM 安装 ,不 同 的 安装 方法 ,所 属 的 路 径 特 不 同 , 以 下 为 
Apache 常用 路 径 的 功能 用 途 : 

a /usr/lib64/httpd/modules/: Apache 模块 存放 路 径 。 
/var/www/html/; YUM 安装 Apache 网 站 发 布 目录 。 
/ var/ www/error/ ; 服务 器 设置 错误 信息 .浏览 器 显示 。 
var/ www/icons/: Apache 小 图 标 文件 存放 目录 。 
var/ www/cgi-bin/; 可 执行 的 CGI 程序 存放 目录 。 
/var/log/httpd/: Apache 日 志 目 录 。 
/ usr/sbin/apachectl; Apache 启动 脚本 。 
/ usr/sbin/httpd: Apache 二 进 制 执行 文件 。 
/usr/bin/htpasswd; 设置 Apache 目录 密码 访问 。 
/ usr/local/apache2/bin: Apache 命令 目录 。 
/ usr/local/apache2/build; Apache 构建 编译 目录 。 
/ usr/local/apache2/htdocs/: 源码 安装 Apache 网 站 发 布 目录 。 
/usr/local/apache2/cgi-bin: 可 执行 的 CGI 程序 存放 目录 。 


D D DD D nono ogo oo o 


D O D DO 
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/ usr/local/apache2/include: Apache 引用 配置 文件 目录 。 
/ usr/local/apache2/logs: Apache 日 志 目 录 。 

/ usr/local/apache2/man; Apache 帮助 文档 目录 。 

/ usr/local/apache2/manual; Apache 手册 。 
/usr/local/apache2/modules: Apache 模块 路 径 。 


10.7 Apache 配置 文件 详解 


Apache 的 配置 文件 是 Apache Web 难点 ,读者 需要 掌握 配置 文件 中 每 个 参数 的 含义 ， 
才能 理解 并 在 日 常 运 维 中 去 解决 Apache 遇 到 的 故障 ,以 下 为 Apache 配置 文件 详解 : 
a ServerTokens OS; 显示 服务 器 的 版 本 和 操作 系统 内 核 版 本 。 


D O D DCD 


D 


D D DD D OO 0 0 DD DOD DD oo 


ServerRoot "/usr/local/apache2/"; Apache 主 配置 目录 , 

PidFile run/httpd. pid: PidFile 进程 文件 。 

Timeout 60; 不 论 接收 或 发 送 , 当 持续 连接 等 待 超过 60 秒 则 该 次 连接 就 中 断 。 
KeepAlive Off: 关闭 持续 性 的 连接 。 

MaxKeepAliveRequests 100; “4 KeepAlive 设置 为 On 的 时 候 , 该 数值 可 以 决定 此 次 
连接 能 够 传输 的 最 大 传输 数量 。 

KeepAliveTimeout 65: 当 KeepAlive 设置 为 On 的 时 候 ,该 连接 在 最 后 一 次 传输 后 
等 待 延迟 的 秒 数 。 

< IfModule prefork, c >; Prefork MPM 引擎 配置 段 。 

StartServers 8: 默认 启动 Apache 工作 进程 数 。 

MinSpareServers 5: 最 小 空闲 进程 数 。 

MaxSpareServers 20: 最 大 空闲 进程 数 。 

ServerLimit 4096: Apache 服务 器 最 多 进程 数 。 

MaxClients 4096: 每 秒 支持 的 最 大 客户 端 并 发 。 

MaxRequestsPerChild 4000; 每 个 进程 能 处 理 的 最 大 请 求 数 。 

</IModule >; 定义 模块 ,模块 标签 。 

< IfModule worker. c >; Worker MPM 引擎 配置 段 。 

StartServers 8: 默认 启动 Apache 工作 进程 数 。 

MaxClients 4000: 每 秒 支 持 的 最 大 客户 端 并 发 。 

MinSpareThreads 25: 最 小 空闲 线程 数 。 

MaxSpareThreads 75: 最 大 空闲 线程 数 。 

ThreadsPerChild 75: 每 个 进程 启动 的 线程 数 。 

MaxRequestsPerChild 0: 每 个 进程 能 处 理 的 最 大 请 求 数 ,0 表示 无 限制 。 
</IfModule >; 定义 模块 ,模块 标签 。 

LoadModule mod version. so: 静态 加 载 Apache 相关 模块 。 
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D 


ServerAdmin support(2jfedu. net: 管理 员 邮 箱 , 网 站 异常 ,错误 信息 会 发 生 至 该 
邮箱 。 

DocumentRoot "/usr/local/apache2/htdocs/"; Apache 网 站 默认 发 布 目录 。 

< Directory "/data/webapps/www1">; 设置 /data/webapps/wwwl 目录 权限 。 
AllowOverride All; 加 载 发 布 目录 中 . htaccess 文件 。 

Options -Indexes FollowSymLinks; 禁止 发 布 目录 以 目录 方式 被 浏览 。 

Order allow,deny: 访问 顺序 , 先 检查 允许 设置 ,没有 允许 的 设置 则 全 部 拒绝 。 

Allow from all: 允许 所 有 客户 端 访问 。 

</Directory >: 定义 目录 ,目录 标签 。 

AllowOverride: 设置 为 None 时 ,目录 中 . htaccess 文件 将 被 完全 忽略 , 当 指令 设置 
为 All 时 ,. htaccess 文件 生效 。 

Options -Indexes FollowSymLinks: 禁止 浏览 目录 ,去掉 ”-”, 表 示 浏 览 目录 ,常用 于 
下 载 站 点 。 

a Order allow,deny: 默认 情况 下 禁止 所 有 客户 机 访问 。 

a Order deny allow: 默认 情况 下 允许 所 有 客户 机 访问 。 

a Allow from all; 允许 所 有 客户 机 访问 。 


D O DO D DOD D D Uu 


D 


10.8 Apache rewrite 规则 实战 


rewrite 规则 也 称 为 规则 重 写 ,主要 功能 是 实现 浏览 器 访问 HTTP URL 的 跳 转 , 其 规 
则 表达 式 是 基于 Perl 语言 。 通 常 而 言 ,几乎 所 有 的 Web 服务 器 均 可 以 支持 URL WU. 
rewrite URL 规则 重 写 的 用 途 如 下 : 

a 对 搜索 引擎 优化 (search engine optimization,SEO) 友 好 ,利于 搜索 引擎 抓 取 网 站 

页 面 ; 

a 隐藏 网 站 URL 真实 地 址 ,浏览 器 显示 更 加 美观 ; 

a 网 站 变更 升级 ,可 以 基于 rewrite 临时 重 定 向 到 其 他 页 面 。 

Apache Web 服务 器 如 需要 使 用 rewrite 功能 , 须 添加 rewrite 模块 ,基于 源码 安装 是 指 
定 参 数 “--enable-rewrite”。 还 有 一 种 方法 可 以 动态 添加 模块 ,以 DSO 模式 安装 Apache. fil 
用 模块 源码 和 Apache apxs 工具 完成 rewrite 模块 的 添加 。 

使 用 Apache rewrite, 除 了 安装 rewrite 模块 之 外 ,还 需 在 httpd. conf 中 的 全 局 配置 段 
或 者 虚拟 主机 配置 段 设置 如 下 指令 来 开启 rewrite 功能 : 





RewriteEngine on 


Apache rewrite 规则 使 用 中 有 三 个 概念 需要 理解 .分 别 为 : rewrite 结尾 标识 符 rewrite 
规则 常用 表达 式 .Apache rewrite 变量 ,以 下 为 三 个 概念 的 详解 : 
(1) Apache rewrite 结尾 标识 符 .用 于 rewrite 规则 末尾 .表示 规则 的 执行 属性 。 详 解 
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如 下 : 
a R[ —code (force redirect): 强制 外 部 重 定向 。 
a G(force URL to be gone): 强制 URL 为 gone, 返 回 410HTTP 状态 码 。 
a P(orce proxy): 强制 使 用 代理 转发 。 
a L(last rule); 匹配 当前 规则 为 最 后 一 条 匹配 规则 ,停止 匹配 后 续 规 则 。 
a N(next round); 重新 从 第 一 条 规则 开始 匹配 。 
a C(chained with next rule); 与 下 一 条 规则 关联 。 
a T=MIME-type(force MIME type): 强制 MIME 类 型 。 
a NC(no case): 不 区 分 大 小 写 。 
(2) Apache rewrite 规则 常用 表达 式 , 主 要 用 于 匹配 参数 、 字 符 串 及 过 滤 设 置 。 详 解 
mF: 
0 . : 匹配 任何 单字 符 。 
a [word]: 匹配 字符 串 word, 
a [^word]: 不 匹配 字符 串 word. 
jfedu|jfteach; 可 选择 字符 串 jfedu|jfteach。 
?: 匹配 0 到 1 个 字符 。 
* : 匹配 0 到 多 个 字符 。 
十 : 匹配 1 到 多 个 字符 。 
^i 字符 串 开 始 标志 。 
$ : 字符 串 结束 标志 。 
a \n: 转 义 符 标志 。 
(3) Apache rewrite 变量 ,常用 于 匹配 HTTP 请 求 头 信息 ,浏览 器 主机 名 、URL 等 。 代 
码 如 下 : 


D D D DO UD 


HTTP headers:HTTP USER AGENT, HTTP REFERER, HTTP COOKIE, HTTP HOST, HTTP ACCEPT; 
connection & request: REMOTE ADDR, QUERY STRING; 

server internals: DOCUMENT ROOT, SERVER PORT, SERVER PROTOCOL; 

system stuff: TIME YEAR, TIME MON, TIME DAY, 


详解 如 下 : 

HTTP USER AGENT: 用 户 使 用 的 代理 ,例如 浏览 器 。 
HTTP_REFERER: 告知 服务 器 ,从 哪个 页 面 来 访问 的 。 

HTTP COOKIE: 客户 端 缓存 ,主要 用 于 存储 用 户 名 和 密码 等 信息 。 
HTTP HOST: 匹配 服务 器 ServerName 域名 。 

HTTP ACCEPT: 客户 端的 浏览 器 支持 的 MIME 类 型 。 
REMOTE_ADDR: 客户 端的 IP 地 址 。 

QUERY STRING: URL 中 访问 的 字符 串 。 

DOCUMENT_ROOT: 服务 器 发 布 目录 。 


D OD DO oo oo 
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D D O DU 


SERVER PORT: 服务 器 端口 。 
SERVER PROTOCOL. 服务 器 端 协议 。 
TIME YEAR: 年 。 

TIME MON; H. 

TIME DAY; H. 


(4) rewrite 规则 实战 案例 ,以 下 配置 均 配 置 在 httpd. conf 或 者 vhosts. conf 中 ,企业 中 
常用 的 rewrite 案例 具体 步骤 如 下 : 


a 


a 


a 


a 


将 jfedu. net 跳 转 至 www. jfedu. net. iE BID F : 

RewriteEngine on; 启用 rewrite 引擎 。 

RewriteCond ⁄( HTTP. HOST) ^jfedu. net [NC]: 匹配 以 jfedu. net 开头 的 域名 ， 
NC 忽略 大 小 写 。 

RewriteRule ^/€. * )$http://www. jfedu. net/ $1 [L]:(. « ) 表 示 任 意 字 符 串 , $1 
表示 引用 (. x ) 的 中 任意 内 容 。 

将 www. jf1. com、www. jf2. com.jfedu. net 跳 转 至 www. jfedu. net. OR 含义 表示 或 
者 ,代码 如 下 : 


RewriteEngine on 


RewriteCond % (HTTP HOST) www. jf1. com [NC,OR] 
RewriteCond % (HTTP HOST) www. jf2. com [NC,OR] 
RewriteCond 5 (HTTP HOST) ^ jfedu.net [NC] 


RewriteRule ^/(. * )$ http://www. jfedu.net/$1 [L] 


访问 www. jfedu. net 首页 , 跳 转 至 www. jfedu. net/newindex/.R=301 表示 永久 重 
定向 ,代码 如 下 : 

RewriteEngine on 

RewriteRule ^/$ http://www. jfedu. net/newindex/ [L, R= 301] 

访问 /newindex/plus/view. php?aid=71 跳 转 至 http://www. jfedu. net/linux/, ft 
码 如 下 : 

RewriteEngine on 

RewriteCond % (QUERY STRING) ^tid- (. +)$ [Nc] 

RewriteRule */forum\.php$ /jfedu/thread- new- % 1. html? [R= 301,L] 

访问 www. jfedu. net 首页 ,内 容 访问 www. jfedu. net/newindex/ ,但 是 浏览 器 URL 
地 址 不 改变 ,代码 如 下 : 


RewriteEngine on 
RewriteCond % (HTTP HOST) ^www. jfedu. net [NC] 
RewriteRule ^/$ /newindex/ [L] 


访问 /forum. php?tid — 107258 Bk#¥ Æ /jfedu/thread-new-107258. html ,代码 如 下 : 
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RewriteEngine on 
RewriteCond % (QUERY STRING) ^tid- (. + )$ [NC] 
RewriteRule */forum\.php$ /jfedu/thread- new- % 1. html? [R= 301,L] 


访问 /xxx/123456 跳 转 至 /xxx?id 王 123456 ,代码 如 下 : 


RewriteEngine on 
rewriteRule ^/(. + )/(M * )$ /$1?id= $2 [L, R7 301] 


判断 是 否 使 用 移动 端 访 问 网 站 ,移动 端 访 问 跳 转 至 m. jfedu. net, 代 码 如 下 : 


RewriteEngine on 


RewriteCond % {HTTP_USER_AGENT} ^ iPhone [NC, OR] 
RewriteCond % (HTTP USER AGENT) ^ Android [NC, OR] 
RewriteCond % (HTTP USER AGENT) ^WAP [NC] 
rewriteRule ^ /$ http://n. jfedu.net/index.html [L,R- 301] 
rewriteRule ^/(. * )/$ http: //m. jfedu. net/$1 [L, R= 301] 


访问 /10690/jfedu/123 跳 转 至 /index. php?tid/10690/items—123.[0-9] zi [E 35 — 
个 数字 ,十 表示 多 个 ,(. 十 ) 表 示 任 何 多 个 字符 ,代码 如 下 : 


RewriteEngine on 
RewriteRule ^/([0- 9] + )/jfedu/(. + )$ /index. php?tid/$1/items= $2 [L,R= 301] 


— a | MySQL 服务 器 企业 实战 








MySQL 是 一 个 关系 型 数据 库 管 理 系统 ,由 瑞典 MySQL AB 公司 开发 ,目前 属于 Oracle 旗 
下 公司 。MySQL 是 当下 最 流行 的 关系 型 数据 库 管理 系统 ,在 Web 应 用 方面 MySQL 是 最 
好 的 关系 数据 库 管理 系统 (relational database management system. RDBMS) 应 用 软件 
z—, 

本 章 向 读者 介绍 关系 型 数据 库 特点 、MySQL 数据 库 引 擎 特点 ` 数 据 库 安装 配置 .SQL 
案例 操作 GE RG) UE EL MySQL 数据 库 集群 实战 等 内 容 。 


11.1 MySOL 数据 库 入 门 简介 


MySQL 是 一 种 关联 数据 库 管理 系统 ,关联 数据 库 将 数据 保存 在 不 同 的 表格 中 ,而 不 是 
将 所 有 数据 放 在 一 个 大 仓库 内 ,这 样 就 增加 了 速度 并 提高 了 灵活 性 。MySQL 所 使 用 的 
SQL 语言 是 用 于 访问 数据 库 的 最 常用 标准 化 语言 。 

MySQL 数据 库 主 要 用 于 存储 各 类 信息 数据 ,例如 : 员工 姓名 、 身 份 证 ID ` 商 城 订 单 及 
金额 .销售 业绩 及 报告 ,学生 考试 成 绩 、 网 站 帖子 .论坛 用 户 信息 .系统 报表 等 。 

MySQL 软件 采用 了 双 授 权 政策 , 它 分 为 社区 版 和 商业 版 ,由 于 其 体积 小 .速度 快 ,总 体 
拥有 成 本 低 ,尤其 是 开放 源码 这 一 特点 ,一 般 中 小 型 网 站 的 开发 都 选择 MySQL 作为 网 站 数 
据 库 。 由 于 其 社区 版 的 性 能 卓越 .搭配 PHP 和 Apache 可 组 成 良好 的 开发 环境 。 

RDBMS 是 将 数据 组 织 为 相关 的 行 和 列 的 系统 ,而 管理 关系 数据 库 的 计算 机 软件 就 是 
关系 数据 库 管理 系统 ,常用 的 关系 型 数据 库 软 件 有 : MySQL, MariaDB, Oracle, SQL 
Server, PostgreSQL, DB2 等 。 

RDBMS 数据 库 的 特点 如 下 : 

a 数据 以 表格 的 形式 出 现 ; 

a 每 行 记录 数据 的 真实 内 容 ; 

a 每 列 记录 数据 真实 内 容 的 数据 域 ; 

a 无 数 的 行 和 列 组 成 一 张 表 ; 
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a 若干 的 表 组 成 一 个 数据 库 。 

目前 Web 主流 架构 是 LAMP(Linux 十 Apache 十 MySQL 十 PHP) ,MySQL 更 是 得 到 各 
f IT iE E. DBA 的 青睐 ,虽然 MySQL 数据 库 已 被 Orcacle 公司 收购 ,不 过 好 消息 是 原 
MySQL 创始 人 已 独立 出 来 重新 开发 了 MariaDB 数据 库 ,开源 免费 ,目前 越 来 越 多 的 企业 开 
始 尝 试 使 用 。MariaDB 数据 库 兼 容 MySQL 数据 库 所 有 的 功能 和 相关 参数 。 

MySQL 数据 库 运 行 在 服务 器 前 ,需要 选择 启动 的 引擎 ,好 比 一 辆 轿车 ,性 能 好 的 发 动 
机 会 提升 轿车 的 性 能 ,从 而 启动 .运行 更 加 的 高 效 。 同 样 MySQL 也 有 类 似 发 动机 引擎 ,这 
里 称 之 为 MySQL 引擎 。 

MySQL 引擎 包括 : ISAM, MyISAM, InnoDB, Memory, CSV, BlackHole, Archive, 
Performance | Schema, Berkeley, Merge, Federated, Cluster/NDB 等 , 其 中 MyISAM, 
InnoDB 使 用 最 为 广泛 ,以 下 为 MyISAM,BDB, Memory, InnoDB 以 及 Archive 之 间 的 引擎 
功能 的 对 比 ,如 表 11-1 所 示 。 


表 11-1 引擎 功能 对 比 






























































引擎 特性 MyISAM BDB Memory InnoDB Archive 
批量 插入 的 速度 高 高 高 中 非常 高 
集群 索引 不 支持 不 支持 不 支持 支持 不 支持 
数据 缓存 不 支持 不 支持 支持 支持 不 支持 
索引 缓存 支持 不 支持 支持 支持 不 支持 
数据 可 压缩 支持 不 支持 不 支持 不 支持 支持 
硬盘 空间 使 用 低 低 null 高 非常 低 
内 存 使 用 低 低 中 等 高 低 
外 键 支持 不 支持 不 支持 不 支持 支持 不 支持 
存储 限制 没有 没有 有 64TB 没有 
事务 安全 不 支持 支持 不 支持 支持 不 支持 
锁 机 制 表 锁 页 镇 KØ 行 锁 行 锁 
B 树 索引 支持 支持 支持 支持 不 支持 
哈 希 索引 不 支持 不 支持 支持 支持 不 支持 
全 文 索引 支持 不 支持 不 支持 不 支持 不 支持 
性 能 总 结 如 下 : 
(1) MyISAM、MySQL 5.0 之 前 的 默认 数据 库 引 擎 ,最 为 常用 。 拥 有 和 较 高 的 插入 、 查 询 
速度 ,但 不 支持 事务 。 


(2) InnoDB 事务 型 数据 库 的 首选 引擎 ,支持 ACID 事 务 ,ACID 包括 原子 性 (atomicity) ,一 
致 性 (consistency)、 隔 离 性 (isolation) ,持久 性 (durability) ,一 个 支持 事务 (transaction) 的 数 
据 库 ,必须 具有 这 4 种 特性 ,否则 在 执行 事务 过 程 中 无 法 保证 数据 的 正确 性 。 
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(3) MySQL 5.5 之 后 默认 引擎 为 InnoDB, InnoDB 支持 行 级 锁定 ,支持 事物 、 外 键 等 
功能 。 
(4) BDB ji A Berkeley DB, 事 务 型 数据 库 的 另 一 种 选择 ,支持 Commit 和 Rollback 等 
其 他 事务 特性 。 
(5) Memory 所 有 数据 置 于 内 存 的 存储 引擎 ,拥有 极 高 的 插入 、 更 新 和 查询 效率 。 但 是 
会 占用 和 数据 量 成 正比 的 内 存 空间 ,并 且 其 内 容 会 在 MySQL 重新 启动 时 丢失 。 
(6) MySQL 常用 的 两 大 引擎 有 MyISAM 和 InnoDB, 那 么 它们 之 间 的 区 别 是 什么 , 根 
据 不 同 场合 该 如 何 进行 选择 。MyISAM 类 型 的 数据 库 表 强 调 的 是 性 能 ,其 执行 数 度 比 
InnoDB 类 型 更 快 ,但 不 提供 事务 支持 ,不 支持 外 键 , 如 果 执 行 大 量 的 select( 查 询 ) 操 作 ， 
MyISAM 是 更 好 的 选择 ,支持 表 锁 。InnoDB 提供 事务 支持 事务 .外 部 键 、 行 级 锁 等 高 级 数 
据 库 功 能 ,执行 大 量 的 insert 或 update 操作 ,出 于 性 能 方面 的 考虑 ,可 以 使 用 InnoDB 引擎 。 


11.2 MySOL 数据 库 安装 方式 


MySQL 数据 库 安装 方法 有 两 种 : 一 种 是 yum/rpm 通过 YUM 源 在 线 安装 ; 另 一 种 是 
通过 源码 软件 编译 安装 。 

(1) YUM 方式 安装 MySQL 的 方法 ,执行 命令 详解 如 下 : 

a yum install mysql-server mysql-devel mysql-libs -y: CentOS 6. X YUM 安装 。 

Q yum install mariadb-server mariadb mariadb-libs -y; CentOS 7. X YUM 安装 。 

(2) 源码 安装 MySQL 5. 5. 20 方法 ,通过 cmake make, make install 三 个 步骤 实现 , 命 
令 如 下 : 

















wget http: //downl. chinaunix. net/distfiles/mysql - 5.5.20. tar.gz 
yum install cmake ncurses - devel ncurses - y 

cmake . — DCMAKE INSTALL PREFIX- /usr/local/mysql55/ \ 
— DMYSQL UNIX ADDR- /tmp/mysql. sock V 

— DMYSQL DATADIR = /data/mysql V 

- DSYSCONEDIR = /etc V 

- DMYSQL USER = nysql V 

- DMYSQL TCP PORT = 3306 V 

- DWITH XTRADB STORAGE ENGINE = 1 V 

- DWITH INNOBASE STORAGE ENGINE = 1 V 

- DWITH PARTITION STORAGE ENGINE- 1 V 

— DWITH BLACKHOLE STORAGE ENGINE = 1 V 

- DWITH MYISAM STORAGE ENGINE = 1 V 

- DWITH_READLINE = 1 V 

- DENABLED LOCAL INFILE- 1 V 

- DWITH EXTRA CHARSETS = 1 V 

— DDEFAULT CHARSET = utf8 V 
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— DDEFAULT COLLATION = utf8 general ci V 
— DEXTRA CHARSETS - all V 
—DWITH BIG TABLES = 1 V 

— DWITH DEBUG = 0 

make 

make install 


(3) MySQL 源码 安装 参数 详解 如 下 : 
cmake . -DCMAKE INSTALL PREFIX — /usr/local/mysql55; cmake 预 编译 。 
-DMYSQL UNIX ADDR = /tmp/mysql. sock: MySQL socket 通信 文件 位 置 。 
-DMYSQL_DATADIR= /data/mysql: MySQL 数据 存放 路 径 。 
-DSYSCONFDIR — /ete; 配置 文件 路 径 。 
-DMYSQL USER- mysql: MySQL 运行 用 户 。 
-DMYSQL TCP PORT -3306; MySQL 监听 端口 。 
-DWITH XTRADB STORAGE ENGINE - 1; 开启 XtraDB 引擎 支持 。 
-DWITH INNOBASE STORAGE ENGINE- 1: 开启 InnoDB 5| % Sc F#. 
-DWITH PARTITION STORAGE ENGINE - 1: 开启 Partition 引擎 支持 。 
-DWITH BLACKHOLE STORAGE ENGINE- 1: 开启 BlackHole 引擎 支持 。 
-DWITH MYISAM STORAGE ENGINE- 1; 开启 MyISAM 引擎 支持 。 
-DWITH READLINE- 1: 启用 快捷 键 功能 。 
-DENABLED_LOCAL_INFILE=1: 允许 从 本 地 导入 数据 。 
-DWITH EXTRA CHARSETS-1; 支持 额外 的 字符 集 。 
-DDEFAULT CHARSET- utf8: 默认 字符 集 UTF-8。 
-DDEFAULT COLLATION-utf8 general ci; 检验 字符 。 
-DEXTRA_CHARSETS=all: 安装 所 有 扩展 字符 集 。 
-DWITH. BIG. TABLES- 1: 将 临时 表 存 储 在 磁盘 上 。 
-DWITH DEBUG-0; 禁止 调试 模式 支持 。 
make: 编译 。 
make install: 安装 。 

CD 将 源码 安装 的 MySQL 数据 库 服务 设置 为 系统 服务 ,可 以 使 用 chkconfig 管理 ,并 
启动 MySQL 数据 库 ,命令 如 下 ,详情 如 图 11-1 所 示 。 

cd /usr/local/mysq155/ 

\cp support - files/my - large.cnf /etc/my.cnf 

\cp support - files/mysql.server /etc/init.d/mysqld 

chkconfig —-— add mysqld 

chkconfig —— level 35 mysqld on 

mkdir - p /data/mysql 


useradd mysql 
/usr/local/mysql55/scripts/mysgl install db -- user = mysql —- datadir = /data/mysql/ 


D D DD O0 OOOO go go oo D oo oo O oo D 
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—- basedir = /usr/local/mysql55/ 
ln — s /usr/local/mysql55/bin/* /usr/bin/ 


service mysqld restart 


usr/local/mys: 





图 11-1 查看 MySQL 启动 进程 
O) 不 设置 为 系统 服务 ,也 可 以 用 源码 启动 方式 ,命令 如 下 : 


cd /usr/local/mysql55 

mkdir - p /data/mysql 

useradd mysql 

/usr/local/nysql55/scripts/mysql install db —- user = mysql 
datadir = /data/mysql/ 
basedir = /usr/local/nysql55/ 

ln - s /usr/local/nysql55/bin/* /usr/bin/ 

/usr/local/mysq155/bin/mysqld safe user = mysql & 


11.3 MySQL 数据 库 必 备 命令 操作 


MySQL 数据 库 安 装 完 毕 之 后 ,对 MySQL 数据 库 中 各 种 指令 的 操作 变 得 尤为 重 
Je MySQL 必 备 命令 是 SA.DBA 必 备 工作 之 一 。 以 下 为 MySQL 数据 库 中 操作 
行 。 








E 
命令 ,所 有 操作 指令 均 在 MySQL 命令 行 中 操作 ,不 能 在 Linux shell 解释 器 上 直接 运 


在 shell 终 
MySQL 命令 行 界面 ,如 图 11-2 所 示 





执行 命令 mysql 或 者 /usr/local/mysql55/bin/mysql, 按 Enter 键 ,进入 








图 11-2 MySQL 命令 行 界面 
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MySQL 命令 行 常用 命令 详解 如 下 ,操作 结果 如 图 11-3 所 示 。 

a show databases: 查看 所 有 的 数据 库 。 

Q create database jfedu: 创建 名 为 jfedu 数据 库 

a use jfedu; 进入 jfedu 数据 库 。 

a show tables; 查看 数据 库 里 有 多 少 张 表 

a create table t1 Cid varchar( 20) ,name varchar(20)): 创建 名 为 tl 表 , 并 创建 两 个 








Jfedu-net ~J# mysq 
welcome to the MySQL end with ; or \g 
Your MySQL conn: 
Server version: 5.5.20-log soure ribution 


Copyright (c) 2000, 2011, Oracle an affiliates. All rights reserved. 
oracle is a registered trademark of Oracle corporation and/or its 
affiliates. othe y be trademarks of their respective 
owners. 
Type 'help;” or "V^" for help. Type o clear the current input statement 
mysql» show databases; 

Database 

inform: 


mysql 
performance schema | 





(a) MySQL 





> 操作 (1) 


Database changed 
mysql> show tables 
Empty set (0,00 sec 


mysql» create table t1 (id varchar(20),name varchar (20)); 
Query oK, O rows affected (0.01 se 


mysql> insert into t 
Query OK, 1 row affe 


> select * from 








(b) MySQL; 


mysql> Select ”from tl where id=1 and nam 


id 


mysql» alter table t1 modify column name varchar (20); 
query ok, O rows affected (0.01 sec) 
Records: 0 Duplicates: O Warnings 


mysql» update tl set names’ 
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Bt. id name, varchar 表示 设置 数据 长 度 , 用 字符 来 定义 长 度 单位 ,其 中 1 汉字 三 2 字 
符 王 2 字 节 。 

insert into tl values ("1","jfedu"): 向 表 中 插入 数据 。 

select * from t1; 查看 tl 表 数 据 内 容 。 

Select * from tl where id=1 and age = 'jfedu'; id age 多 个 条 件 查 询 。 
desc t1; 查看 tl 表 字 段 内 容 。 

alter table tl modify column name varchar(20); 修改 name 字段 的 长 度 。 
update tl set name='jfedu. net' where id 一 1: 修改 name 字段 的 内 容 。 
flush privileges; 刷新 权限 。 

delete from tl: 清空 表 内 容 。 

drop table t1; 删除 表 。 

drop database jfedu: 删除 jfedu 数据 库 。 

show variables like '%char%'; 查看 数据 库 字 符 集 。 

show engines: 查看 MySQL 存储 引擎 。 

show variables like' %storage_engine% ': 查看 MySQL 默认 的 存储 引擎 。 
alter table tl engine—innodb: 修改 MySQL tl 表 存 储 引 擎 。 


11.4 MySOL 数据 库 字符 集 设 置 


计算 机 中 储存 的 信息 都 是 用 二 进 制 数 方式 来 表示 的 ,读者 每 天 看 到 屏幕 显示 的 英文 . 汉 
字 等 字符 也 都 是 二 进 制 数 转换 之 后 的 结果 。 通 俗 地 说 ,将 汉字 按照 某 种 字符 集 编码 存储 在 
计算 机 中 , 称 为 “编码 ”。 将 存储 在 计算 机 中 的 二 进 制 数 解析 显示 出 来 , 称 为 "解码 ”, 在 解码 
过 程 中 ,如 果 使 用 了 错误 的 解码 规则 ,会 导致 显示 乱码 。 

MySQL 数据 库 在 存储 数据 时 ,默认 编码 为 latinl ,存储 中 文字 符 时 ,在 显示 或 者 Web 
调用 时 会 显示 为 乱码 ,为 解决 该 乱码 问题 , 需 修改 MySQL. 默认 字符 集 为 UTF-8, 有 以 下 两 
种 方法 : 

(1) 编辑 vim /etc/my. enf 配置 文件 ,在 相应 段 中 加 入 相应 的 参数 字符 集 , 修 改 完毕 后 ， 
重启 MySQL 服务 即 可 ,具体 内 容 如 下 : 

口 [clientj] 字 段 里 加 入 : default-character-set— utí8, 

a [mysqld] 字 段 里 加 入 : character-set-server 二 utf8。 

a [mysqlj] 字 段 里 加 入 : default-character-set— utf8。 

(2) MySQL 命令 行 中 运行 如 下 指令 ,详情 如 图 11-4 所 示 。 


O D O0 DD OD O DDOD 00 oo 


m 


show variables like ' $ char $ '; 

SET character set client = utf8; 
SET character set results - utf8; 
SET character set connection - utf8; 
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图 11-4 设置 MySQL 数据 库 字 符 集 
11.5 MySQL 数据 库 密码 管理 


MySQL 数据 库 在 使 用 过 程 中 为 了 加 强 安全 防范 ,需要 设置 密码 访问 ,如 何 设置 密码 及 
密码 忘记 如 何 破解 呢 ? 如 下 为 设置 密码 授权 、 密 码 修改 及 密码 破解 的 方法 : 

(1) MySQL 创建 用 户 及 授权 

命令 如 下 : 

grant all on jfedu. * to test@ localhost identified by 'pas'; 

grant select, insert, update, delete on * . * to test@"%" identified by 'pas'; 

grant all on jfedu. * to test@’192.168.111.118’ identified by 'pas'; 

以 上 三 条 grant 语句 数 详解 如 下 : 

a 授权 localhost 主机 通过 test 用 户 和 pas 密码 访问 本 地 的 jfedu 库 的 所 有 权限 ; 

a 授权 所 有 主机 通过 test 用 户 和 pas 密码 访问 本 地 的 jfedu 库 的 查询 \ 插 入 、 更 新 、 删 








除权 限 ; 
a 授权 192. 168. 111. 118 主机 通过 test 用 户 和 pas 密码 访问 本 地 的 jfedu 库 的 所 有 
权限 


(2) MySQL 密码 破解 方法 

在 使 用 MySQL 数据 库 中 ,偶尔 会 出 现 密码 忘记 或 者 被 其 他 人 员 修 改 掉 数 据 库 权 限 的 
情况 ,如 果 需 要 紧急 修改 密码 ,如 何 破解 ee 密码 呢 ? 首先 停止 MySQL 数据 库 服务 ， 
以 跳 过 权限 方式 启动 ,命令 如 下 : 





/etc/ init. d/mysqld stop 

/usr/bin/mysqld_safe -- user = mysql -- skip- grant - tables & 

MySQL 跳 过 权限 方式 启动 后 ,在 shell 终端 执行 MySQL 命令 并 按 Enter 键 ,进入 
MySQL 命令 行 ,如 图 11-5 Bro. 
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yright (c) 


oracle is 





图 11-5 跳 过 权限 启动 并 登录 MySQL 











更 新 相应 的 密码 字段 即 可 ,例如 将 My SQL 中 root 用 户 的 
情 如 图 11-6 所 示 





吗 均 改 为 123456 ,命令 如 下 , 详 


use nysql 





图 11-6 MySQL 密码 破解 方法 









MySQL 跳 过 权限 表 的 启动 进程 ,再 以 正常 方式 启动 








rights reserved 


ation and/or 


图 11-7 MySQL 正常 方式 启动 
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11.6 MySOL 数据 库 配 置 文件 详解 


理解 MySQL 配置 文件 ,可 以 更 快 地 学 习 和 掌握 MySQL 数据 库 服务 器 ,以 下 为 MySQL 
配置 文件 常用 参数 详解 : 


a 


a 
a 
a 
a 
a 
a 
a 
a 
a 


D 0D 0D ogo oo oo 0 0 0 0 oo oo oo oo oo oo 


[mysqld]: 服务 器 端 配 置 。 

datadir=/data/mysql: 数据 目录 。 

socket=/var/lib/mysql/mysql. sock: socket 通信 设置 。 

user= mysql; 使 用 MySQL 用 户 启 动 。 

symbolic-links=0; 是 否 支持 快捷 方式 。 

log-bin=mysql-bin; 开启 bin-log 日 志 。 

server-id — 1: MySQL 服务 的 ID. 

auto_increment_offset=1; 自 增 长 字段 从 固定 数 开始 。 

auto increment increment—2; 自 增长 字段 每 次 递增 的 量 。 

socket = /tmp/mysql. sock: MySQL 客户 程序 与 服务 器 之 间 的 本 地 通信 套 接 字 
文件 。 

port — 3306; 指定 MySQL 监听 的 端口 。 

key buffer = 384MB: key buffer 是 用 于 索引 块 的 缓冲 区 大 小 。 

table cache = 512; 为 所 有 线程 打开 表 的 数量 。 

sort buffer size = 2MB: 为 每 个 需要 进行 排序 的 线程 分 配 该 大 小 的 一 个 缓冲 区 。 
read buffer size = 2MB, 读 查 询 操作 所 能 使 用 的 缓冲 区 大 小 。 

query cache size — 32MB: 指定 MySQL 查询 结果 缓冲 区 的 大 小 。 

read rnd buffer size = 8MB: 改 参 数 在 使 用 行 指 针 排序 之 后 .随机 读 。 
myisam_sort_buffer_size = 64MB: MyISAM 表 发 生变 化 时 重新 排序 所 需 的 缓冲 。 
thread concurrency = 8; 最 大 并 发 线程 数 , 取 值 为 服务 器 逻辑 CPU 数量 X2。 
thread cache = 8: 缓存 可 重用 的 线程 数 。 

skip-locking: 避免 MySQL 的 外 部 锁定 ,减少 出 错 几 率 增强 稳定 性 。 
default-storage-engine=INNODB: 设置 MySQL 默认 引擎 为 InnoDB, 

4 mysqld safe config: MySQL 服务 安全 配置 。 

[mysqld. safe]: MySQL 服务 安全 启动 配置 。 

log-error— /var/log/mysqld. log: MySQL 错误 日 志 路 径 。 

pid-file— /var/run/mysqld/mysqld. pid; MySQL PID 进程 文件 。 
key_buffer_size = 2048MB: MyISAM 表 索 引 缓 冲 区 的 大 小 。 

max connections — 3000: MySQL 最 大 连接 数 。 

innodb buffer pool size— 2048MB: InnoDB 内 存 缓冲 数据 和 索引 大 小 。 
basedir = /usr/local/mysql55/: 数据 库 安装 路 径 。 
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a [mysqldump]: 数据 库 导 出 段 配置 。 
2 max allowed packet —16MB: 服务 器 和 客户 端 发 送 的 最 大 数据 包 。 


11.7 MySOL 数据 库 索 引 案 例 


MySQL 索引 可 以 用 来 快速 地 寻找 某 些 具有 特定 值 的 记录 ,所 有 MySQL 索引 都 以 
B- 树 的 形式 保存 。 如 果 MySQL 没有 索引 ,执行 select 时 会 从 第 一 个 记录 开始 扫描 整个 表 
的 所 有 记录 ,直至 找到 符合 要 求 的 记录 。 如 果 表 中 数据 有 上 亿 条 数据 ,查询 一 条 数据 花费 的 
时 间 会 非常 长 ,索引 类 似 于 电子 书 的 目录 与 页 码 的 对 应 关系 ,可 加 快 数据 的 查找 。 

如 果 在 需 搜索 条 件 的 列 上 创建 了 索引 ,MySQL 无 须 扫描 全 表 记 录 即 可 快速 得 到 相应 
的 记录 行 。 如 果 该 表 有 1000000 条 记录 ,通过 索引 查找 记录 要 上 比 全 表 顺 序 扫描 至 少 快 100 
倍 ,这 就 是 索引 在 企业 环境 中 带 来 的 执行 速度 上 的 提升 。 

MySQL 数据 库 常 见 索引 类 型 包括 : 普通 索引 (normal) E — 28 3| Cunique) ,全 文 索引 
(full text), ERI primary key) 组合 索引 等 ,以 下 为 每 个 索引 的 应 用 场景 及 区 别 : 

a 普通 索引 : normal, 使 用 最 广泛 。 

a 唯一 索引 : unique, 不 允许 重复 的 索引 ,允许 有 空 值 。 

a 全 文 索引 : full text, 只 能 用 于 MyISAM K full text 主要 用 于 大 量 的 内 容 检索 。 

a 主键 索引 : primary key 又 称 为 特殊 的 唯一 索引 ,不 允许 有 空 值 。 

a HARI: 为 提高 MySQL 效率 可 建立 组 合 索引 。 

MySQL 数据 库 表 创建 各 个 索引 命令 ,以 tl 表 为 案例 ,操作 如 下 : 

a 主键 索引 : ALTER TABLE tl ADD PRIMARY KEY('column'), 

a 唯一 索引 : ALTER TABLE t1 ADD UNIQUE/ 'column') 。 

a 普通 索引 : ALTER TABLE t1 ADD INDEX index name('column'), 

a 全 文 索引 : ALTER TABLE tl ADD FULLTEXT('column') 。 

a 组合 索引 : ALTER TABLE t1 ADD INDEX index name('columnl'. 'column2' , 

'column3'), 

tl 表 的 id 字段 创建 主键 索引 ,查看 索引 是 否 被 创建 ,然后 插入 相同 的 id, 提 示 报 错 , 如 
图 11-8 所 示 。 

MySQL 数据 库 表 删 除 各 个 索引 命令 ,以 {1 表 为 案例 ,操作 如 下 : 

DROP INDEX index name ON t1; 


ALTER TABLE t1 DROP INDEX index name; 
ALTER TABLE t1 DROP PRIMARY KEY; 


MySQL 数据 库 查 看 表 索 引 ,操作 如 下 





show index from tl; 
show keys from t1; 
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图 11-8 MySQL 主键 索引 案例 演示 


MySQL 数据 库 索 引 的 缺点 如 下 : 

a MySQL 数据 库 索引 虽然 能 够 提高 数据 库 查 询 速度 ,但 同时 会 降低 更 新 .删除 .插入 
表 的 速度 ,例如 对 表 进 行 insert , update, delete 时 ,update Æ MySQL 不 仅 要 保存 数 
据 , 还 需 保存 更 新 索引 ; 

a 建立 索引 会 占用 磁盘 空间 ,大 表 上 创建 了 多 种 组 合 索引 ,索引 文件 就 会 占用 大 量 的 


空间 。 


11.8 MySOL 数据 库 慢 查询 


MySQL 数据 库 慢 查询 主要 用 于 跟踪 异常 的 SQL 语句 ,可 以 分 析出 当前 程序 里 哪些 
SQL 语句 比较 耗费 资源 , 慢 查 询 日 志 则 用 来 记录 在 MySQL 中 响应 时 间 超 过 阀 值 的 语句 ， 
具体 指 运行 时 间 超 过 long query. time 值 的 SQL 语句 ,会 被 记录 到 慢 查 询 日 志 中 

MySQL 数据 库 默认 没有 开启 慢 查 询 日 志 功能 , 需 手 动 在 配置 文件 或 者 MySQL 命令 行 
中 开启 , 慢 查询 日 志 默认 写 和 人 磁盘 中 的 文件 ,也 可 以 将 慢 查询 日 志 写 人 到 数据 库 表 中 。 

查看 数据 库 是 否 开启 慢 查 询 命令 如 下 ,详情 如 图 11-9 所 示 









51 ii 








show variables like " % slow% "; 
show variables like " $ long query $ "; 


MySQL 慢 查 询 参数 详解 如 下 : 

Q log slow queries: 关闭 慢 查 询 日 志 功 能 。 

long query time; 慢 查询 超时 时 间 ,默认 为 10s,MySQL 5.5 以 上 可 以 设置 微 秒 。 
slow query log: 关闭 慢 查询 日 志 。 

slow query log file: 慢 查 询 日 志文 件 。 

slow launch time: thread create 时 间 ,单位 为 秒 , 如 果 thread create 的 时 间 超 过 了 





D DO D 


146 <| 曝光: Linux 企 业 运 维 实战 


a registered trademark of Oracle Corporation and/or its 
other names may be trademarks of their respective 


Type 'help;' or 'Vh' for help. Type "Ac' to clear the current input state 


low. queri 
slow launch, time 
slow query log 

low query log file. 





(a) MySQL 数 据 库 慢 查询 功能 (1) 


oracle is a registered trademark of Oracle Corporation and/or its 
affiliates. other names may be trademarks of their respective 
owners 


*help;* or 'Vh' for help. Type "Ac' to clear the current input s 


ow variables like "Xlong query 


long query time | 0.010000 





(b) MySQL 数 据 库 慢 查询 功能 (2) 
图 11-9 MySQL 数据 库 慢 查 询 功 能 


这 个 值 ,该 变量 slow. launch. time 的 值 会 加 1 
加 索引 的 SQL 语句 





a log-queries-not-using-index 
开启 MySQL 慢 查 询 日 志方 法 有 以 下 两 种 : 
(1) MySQL 数据 库 命令 行 执行 命令 如 下 : 


set global slow query log- on; 


show variables like " $ slow% "; 


编辑 my. cnf 配置 文件 中 添加 代码 如 下 : 





log- slow- queries = /data/mysql/localhost.log 
long query time - 0.01 
log- queries - not — using- indexes 
慢 查 询 功能 开启 之 后 ,数据 库 会 自动 将 执行 时 间 超 过 设 定时 间 的 SQL 语句 添加 至 慢 查 
询 日 志文 件 中 ,可 以 通过 慢 查 询 日 志文 件 定位 执行 慢 的 SQL, 从 而 对 其 优化 ,可 以 通过 
mysqldumpslow 命令 行 工 具 分 析 日 志 
执行 命令 mysqldumpslow -h 可 | 以 查看 命令 帮助 信 
排序 参数 ,可 选项 详解 如 下 : 
1; 查询 锁 的 总 时 间 
r: 返回 记录 数 。 
t: 查询 总 时 间 排 序 。 
al: 平均 锁定 时 间 。 








,主要 参数 包括 -s 和 -t, 其 





ooo D 
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ar: 平均 返回 记录 数 
at; 平均 查询 时 间 。 
c: 计数 。 
a -tn: 显示 头 n 条 记录 
MySQL 慢 查 询 mysqldumpslow 按照 返回 的 行 数 从 大 到 小 ,查看 前 2 行 ,命令 如 下 , 详 
情 如 图 11-10 所 示 。 


D D D 


mysqldumpslow - s r - t 2 localhost. log 





图 11-10 mysqldumpslow 以 返回 记录 排序 


MySQL 慢 查询 mysqldumpslow 按照 查询 总 时 间 从 大 到 小 ,查看 前 5 行 ,同时 过 滤 
select 的 SQL 语句 ,命令 如 下 ,详情 如 图 11-11 所 示 


mysqldumpslow - st -t 5 -g "select" localhost. log 





图 11-11 mysqldumpslow 以 查询 总 时 间 排 序 


11.9 MySQL 数据 库 优 化 


MySQL 数据 库 优化 是 一 项 非常 重要 的 工作 ,而 且 是 一 项 长 期 的 工作 , MySQL 优化 三 
分 靠 配置 文件 及 硬件 资源 的 优化 ,七 分 靠 SQL 语句 的 优化 

MySQL 数据 库 具 体 优化 包括 : 配置 文件 的 优化 .SQL 语句 的 优化 、 表 结构 的 优化 索引 
的 优化 ,而 配置 的 优化 包括 : 系统 内 核 、 硬 件 资源 .内 存 .CPU、MySQL 本 身 配置 文件 的 优化 。 

硬件 上 的 优化 有 两 种 方式 : 一 种 是 增加 内 存 和 提高 磁盘 读 写 速度 ,进而 提高 MySQL 
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数据 库 的 查询 .更 新 的 速度 ; 另 一 种 提高 MySQL 性 能 的 方式 是 使 用 多 块 磁盘 来 存储 数据 ， 
可 以 从 多 块 磁盘 上 并 行 读 取 数 据 , 进 而 提高 读 取 数 据 的 速度 。 

MySQL 参数 的 优化 ,内 存 中 会 为 MySQL 保留 部 分 的 缓冲 区 ,这 些 缓冲 区 可 以 提高 
MySQL 的 速度 ,缓冲 区 的 大 小 可 以 在 MySQL 的 配置 文件 中 进行 设置 。 

以 下 为 企业 级 MySQL 百 万 量 级 真实 环境 配置 文件 my. cnf 的 内 容 , 用 户 可 以 根据 实际 
情况 修改 ,代码 如 下 : 

[client] 

port = 3306 

socket = /tmp/mysql. sock 


[mysqld] 
user = mysql 





server_id = 10 

port = 3306 

socket = /tmp/mysql. sock 
datadir = /data/mysql/ 
old_passwords = 1 
lower_case_table_names = 1 
character - set- server = utf8 
default - storage - engine = MYISAM 
log- bin = bin. log 

log- error = error. log 

pid- file = mysql. pid 
long_query time = 2 
slow_query_log 

slow query log file = slow. log 
binlog_cache_size = 4MB 
binlog_format = mixed 
max_binlog_cache_size = 16MB 
max_binlog_size = 1GB 
expire_logs_days = 30 

ft min word len = 4 

back log - 512 

max allowed packet = 64MB 
max connections - 4096 

max connect errors - 100 
join buffer size - 2MB 

read buffer size - 2MB 

read rnd buffer size - 2MB 
sort buffer size - 2MB 
query cache size - 64MB 
table open cache - 10000 
thread cache size - 256 

max heap table size - 64MB 
tmp table size = 64MB 
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thread stack = 192KB 

thread concurrency = 24 

local- infile = 0 

skip- show - database 

skip- name — resolve 

skip- external — locking 
connect_timeout = 600 
interactive timeout = 600 
wait_timeout = 600 

# xxx MyISAM 

key buffer size = 512MB 

bulk insert buffer size - 64MB 
myisam sort buffer size - 64MB 
myisam max sort file size - 1GB 
myisam repair threads - 1 
concurrent insert - 2 

myisam recover 

Hoxxx INNODB 

innodb buffer pool size - 64GB 
innodb additional mem pool size - 32MB 
innodb data file path - ibdatal:1G; ibdata2:1G:autoextend 
innodb read io threads - 8 
innodb write io threads - 8 
innodb file per table = 1 
innodb flush log at trx commit - 2 
innodb lock wait timeout - 120 
innodb log buffer size - 8MB 
innodb log file size - 256MB 
innodb log files in group = 3 
innodb max dirty pages pct - 90 
innodb thread concurrency - 16 
innodb open files - 10000 
f&innodb force recovery = 4 

# xxx Replication Slave 

read- only 

# skip- slave- start 

relay- log - relay.log 

log- slave - updates 


11.10 MySOL 数据 库 集 群 实战 


随 着 访问 量 的 不 断 增加 , 单 台 MySQL 数据 库 服务 器 压力 不 断 地 增加 ,需要 对 MySQL 
进行 优化 和 架构 改造 ,如 果 MyQSL 优化 不 能 明显 改善 压力 ,可 以 使 用 高 可 用 、 主 从 复制 \ 读 
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写 分 离 来 . 拆 分 库 . 拆 分 表 等 方法 来 进行 优化 。 

MySQL 主 从 复制 集群 在 中 小 企业 、 大 型 企业 中 被 广泛 应 用 , MySQL 主 从 复制 的 目的 
是 实现 数据 库 元 余 备 份 ,将 master 数据 库 数据 定时 同步 至 slave 库 中 ,一 旦 master 数据 库 
宕 机 ,可 以 将 Web 应 用 数据 库 配置 快速 切换 至 slave 数据 库 , 确 保 Web 应 用 有 较 高 的 可 用 
率 ,MySQL 主 从 复制 架构 图 如 图 11-12 所 示 。 


slave 数 据 库 


master 数 据 库 





图 11-12 MySQL 主 从 原理 架构 图 


MySQL 主 从 复制 集群 至 少 需要 2 台数 据 库 服 务 器 ,其 中 一 台 为 master 库 , 另 外 一 台 
slave 库 , MySQL 主 从 数据 同步 是 一 个 异步 复制 的 过 程 ,要 实现 复制 首先 需要 在 master 上 
开启 bin-log 日 志 功能 ,bin-log 日 志 用 于 记录 在 master 库 中 执行 的 增 、 删 ,修改 、 更 新 操作 的 
SQL 语句 ,整个 过 程 需要 开启 3 个 线程 ,分 别 是 master 开启 1/0 线程 ,slave 开启 1/0 线程 
和 SQL 线程 ,具体 主 从 同步 原理 详解 如 下 : 

a slave 上 执行 slave start. slave 1/O 线程 会 通过 在 master 创建 的 授权 用 户 连接 上 至 
master, 并 请 求 master 从 指定 的 文件 和 位 置 之 后 发 送 bin-log 日 志 内 容 ; 
master 接收 到 来 自 slave 1/O 线程 的 请 求 后 ,master L/O 线程 根据 slave 发 送 的 指定 
bin-log 日 志 position 点 之 后 的 内 容 , 然 后 返回 给 slave 的 1/0 线程 ; 
返回 的 信息 中 除了 bin-log 日 志 内 容 外 ,还 有 master 最 新 的 bin-log 文件 名 以 及 在 
bin-log 中 的 下 一 个 指定 更 新 position 点 ; 
slave I/O 线程 接收 到 信息 后 ,将 接收 到 的 日 志 内 容 依 次 添加 到 slave 端的 relay-log 
文件 的 最 末端 ,并 将 读 取 到 的 master 端的 bin-log 的 文件 名 和 position 点 记录 到 
master. info 文件 中 ,以 便 在 下 一 次 读 取 的 时 候 能 告知 master 从 相应 的 bin-log 文件 
名 及 最 后 一 个 position 点 开始 发 起 请 求 ; 
slave SQL 线程 检测 到 relay-log 中 内 容 有 更 新 ,会 立刻 解析 relay-log 日 志 中 的 内 
容 , 将 解析 后 的 SQL 语句 在 slave 里 执行 ,执行 成 功 后 slave 库 与 master 库 数据 保持 
一 致 。 


D 


D 


D 


D 
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11.11 MySQL 主 从 复制 实战 


MySQL 主 从 复制 环境 构 红 





从 为 例 ,MySQL 主 从 复制 架构 3 


(1) 系统 环境 准备 。 


master: 192.168.111.128 
slave: 192.168.111.129 


(2) master 安装 及 配置 。 
master 端 使 用 源码 安装 M 


n 





cnf, 则 无 须 添加 如 下 代码 : 


server- id - 1 
log- bin = mysql- bin 


至 少 需 2 台 服 务 器 ,可 以 配置 1 主 多 从 、 多 主 多 从 ,以 1 主 1 
实战 步骤 如 下 : 


ySQL5. 5 版 本 软件 后 ,在 /etc/my. cnf 配置 文件 Lmysqldj 段 


Ph 加 入 如 下 代码 ,然后 重启 MySQL 服务 即 可 。 如 果 在 安装 时 cp my-large. cnf /etc/my. 


master 端 /etc/my. cnf 完整 配置 代码 如 下 : 


[client] 

port - 3306 

socket = /tmp/nysql.sock 
[mysqld] 

port - 3306 


socket = /tmp/mysql.sock 
skip- external- locking 
key buffer size = 256MB 
max allowed packet - 1MB 
table open cache - 256 
sort buffer size = 1MB 
read buffer size - 1MB 
read rnd buffer size = 4MB 


myisam sort buffer size - 64MB 


thread cache size - 8 
query cache size- 16MB 
thread concurrency = 8 
log- bin- mysql - bin 
binlog format - mixed 
server- id- 1 
[mysqldump] 

quick 

max allowed packet = 16MB 
[mysql] 

no- auto - rehash 
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[myisamchk] 

key buffer size = 128MB 
sort buffer size = 128MB 
read buffer = 2MB 

write buffer = 2MB 
[mysqlhotcopy] 
interactive — timeout 


在 master 数据 库 服 务 器 命令 行 中 创建 tongbu 用 户 及 密码 并 设置 权限 ,执行 如 下 命令 ， 
查看 bin-log 文件 及 position 点 ,详情 如 图 11-13 Pras. 


grant replication slave on * . * to 'tongbu'@'% ' identified by '123456'; 


show master status; 


urrent input tement 





图 11-13 MySQL master 授权 用 户 
装 及 配置 
slave 端 使 用 源码 安装 MySQL 5.5 版 本 软件 后 ,在 /etc/my. cnf 配置 文件 [mysqldj 段 
中 加 入 如 下 代码 ,然后 重启 MySQL 服务 即 可 。 如 果 在 安装 时 cp my-large. cnf /etc/my. 
cnf, 则 需 修改 server-id. master 与 slave 端 server-id 不 能 一 样 , slave 端 无 须 开 启 bin-log 功 


能 ,代码 如 下 : 





(3) slave 





server- id - 2 


配置 代码 如 下 : 





slave 端 /etc/my. cnf 5i 


[client] 

port - 3306 

socket = /tmp/mysql.sock 
[mysqld] 

port - 3306 

socket = /tmp/mysql.sock 


skip- external- locking 
key buffer size - 256MB 


max allowed packet - 1MB 
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table open cache = 256 
sort buffer size = 1MB 
read buffer size = 1MB 
read rnd buffer size = 4MB 
myisam sort buffer size = 64MB 
thread cache size = 8 
query cache size= 16MB 
thread concurrency = 8 
server- id= 2 

[mysqldump] 

quick 

max allowed packet = 16MB 
[mysq1] 

no - auto - rehash 
[myisamchk ] 
key_buffer_size = 128MB 
sort buffer size = 128MB 
read buffer - 2MB 

write buffer - 2MB 
[nysqlhotcopy] 

interactive - timeout 


slave 指定 master IP, JH] P 44, 8f 63, bin-log 文件 名 (mysql-bin. 000028) 及 position 
(257) ,代码 如 下 : 
change master to 


master host = '192.168.111.128',master user- 'tongbu',master password = '123456' master log. 
file = 'nysql- bin.000028',master log pos = 257; 


在 slave 中 启动 slave start, 并 执行 show slave status\G 查看 MySQL 主 从 状态 ,代码 如 下 : 


slave start; 
show slave status\G 


查看 slave 端 1/O 线程 .SQL 线程 状态 均 为 Yes, 代 表 slave 已 正常 连接 master 实现 同 
步 ,代码 如 下 : 

Slave IO Running: Yes 

Slave SQL Running: Yes 

执行 Show slave statusVG ,常见 参数 含义 解析 如 下 : 

a Slave IO State: I/O 线程 连接 master 状态 。 

a Master User: 用 于 连接 master 的 用 户 。 

a Master Port; master 端 监听 端口 。 
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a Connect_Retry: 主 从 连接 失败 , 重 试 时间 间 隔 。 

Q Master Log File: 1/O 线程 读 取 的 master 二 进 制 日 志文 件 的 名 称 。 

1/0 线程 已 读 取 的 master 二 进 制 日 志文 件 的 位 置 
a Relay Log File: SQL 线程 读 取 和 执行 的 中 继 日 志文 件 的 名 称 。 
a Relay Log Pos: SQL 线程 已 读 取 和 执行 的 中 继 日 志文 件 的 位 置 。 

a Relay Master Log File: SQL 线程 执行 的 master 二 进 制 日 志文 件 的 名 称 。 
a Slave IO Running: 1/0 线程 是 否 被 启动 并 成 功 地 连 主 服务 器 上 

a Slave SQL Running: SQL 线程 是 否 被 启动 

a Replicate Do DB; 指定 的 同步 的 数据 库 列表 

a Skip Counter; SQL SLAVE SKIP. COUNTER 设置 的 值 

a Seconds Behind Master; slave ? 

秒 , 常 被 用 于 主 从 延迟 检 z 
master 端 创建 mysql db test 数据 库 和 t0 表 ,命令 如 下 ,详情 如 图 11-14 所 示 


a Read Master Log Pos: 



















在 


create database mysql ab test charset = utf8; 

show databases; 

use nysql ab test; 

create table t0 (id varchar(20), name varchar(20)); 


show tables; 





图 11-14 MySQL master 创建 数据 库 和 表 
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Slave 服务 器 查看 是 否 有 mysql ab test 数据 库 和 tO 的 表 , 如 果 存 在 则 代表 slave 从 
master 复制 数据 成 功 , MySQL 主 从 架构 至 此 配置 成 功 ,如 图 11-15 所 示 。 





图 11-15 MySQL slave 自动 同步 数据 
在 master 服务 器 的 t0 表 中 插入 两 条 数据 ,命令 如 下 ,在 slave 查看 是 否 已 同步 ,master 
上 执行 详情 如 图 11-16 所 示 


insert into tO values ("001", "wugk1"); 


into tO values ("002", "wugk2") ; 








* from tO; 





图 11-16 MySQL master insert 数据 
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Slave 端 执 行 查询 命令 ,如 图 11-17 所 示 , 表 示 master 端 插入 的 SQL 数据 已 经 同步 到 


slave 端 。 





图 11-17 MySQL slave 数据 已 同步 


11.12 MySQL 主 从 同步 排 错 思 


MySQL 主 从 同步 集群 在 生产 环境 使 用 时 ,如 果 主 从 服务 器 之 间 网 络 通信 条 件 差 或 者 
数据 库 数据 量 非常 大 ,容易 导致 MySQL 主 从 同步 延迟 

MySQL 主 从 产生 延迟 之 后 ,一 旦 主 库 宕 机 ,会 导致 部 分 数据 没有 及 时 同步 至 从 库 , 重 
新 启动 主 库 .会 导致 从 库 与 主 库 同步 错误 ,快速 恢复 主 从 同步 关系 有 如 下 两 种 方法 : 

(1) 忽略 错误 后 同步 

此 种 方法 适用 于 主 从 库 数据 内 容 相差 不 大 的 情况 

master 端 执 行 如 下 命令 ,将 数据 库 设置 为 全 局 读 锁 ,不 允许 写 人 新 数据 















flush tables with read lock; 

slave 端 停止 slave I/O 及 SQL 线程 ,同时 将 同步 错误 的 SQL 跳 过 1 次 , 跳 过 错误 会 导 
致 数据 不 一 致 ,启动 start slave, 同 步 状态 恢复 .命令 如 下 : 

stop slave; 


set global sql slave skip counter = 1; 


start slave; 

(2) 重新 做 主 从 同步 ,使 数据 完全 同步 

此 种 方法 适用 于 主 从 库 数 据 内 容 相差 很 大 的 情况 

master 端 执行 如 下 命令 ,将 数据 库 设置 全 局 读 镇 ,不 允许 写 人 新 数据 


flush tables with read lock; 
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master 端 基 于 mysqldump、xtrabackup 工具 对 数据 库 进行 完整 备份 ,也 可 以 用 shell 脚 
本 或 python 脚本 实现 定时 备份 .备份 成 功 之 后 ,将 完整 的 数据 导入 至 从 库 , 重 新 配置 主 从 关 
系 , 当 slave 端的 L/O 线程 .SQL 线程 均 为 Yes 之 后 ,最 后 将 master 端 读 锁 解 开 即 可 ,解锁 
命令 如 下 : 


unlock tables; 


~ | LAMP 企业 架构 实战 








Linux F LAMP (Linux+ Apache + MySQL /MariaDB  Perl/PHP/Python) Z — Z8 M 
来 搭建 动态 网 站 的 开源 软件 架构 ,本 身 是 各 自 独 立 的 软件 服务 , 放 在 一 起 使 用 ,拥有 了 越 来 
越 高 的 兼容 度 , 共 同 组 成 了 一 个 强大 的 Web 应 用 程序 平台 。 

本 章 向 读者 介绍 互联 网 主流 企业 架构 LAMP 应 用 案例 .PHP 解释 性 语言 详解 .LAMP 组 
合 通信 原理 ,LAMP 企业 源码 架设 .LAMP 拓展 及 使 用 Redis 提升 LAMP 性 能 优化 等 内 容 。 


12.1 LAMP 企业 架构 简介 


随 着 开源 潮流 的 蓬勃 发 展 , 开 放 源 代码 的 LAMP 已 经 与 J2EE 和 . Net 商业 软件 形成 三 
足 瞻 立 之 势 ,并 且 该 软件 开发 的 项 目 在 软件 方面 的 投资 成 本 较 低 ,因此 受到 整个 IT 界 的 关 
iE. LAMP 架构 受到 大 多 数 中 小 企业 的 运 维 、DBA ,程序 员 的 青睐 ,Apache 默认 只 能 发 布 
静态 网 页 ,而 LAMP 组 合 可 以 发 布 静 态 和 PHP 动态 页 面 。 

静态 页 面 通常 指 不 与 数据 库 发 生 交 互 的 页 面 ,是 一 种 基于 W3C 规范 的 一 种 网 页 书写 
格式 ,是 一 种 统一 协议 语言 ,所 以 称 为 静态 网 页 。 静 态 页 面 被 设计 好 之 后 ,一 般 很 少 去 修改 ， 
不 随 着 浏览 器 参数 改变 而 内 容 改 变 , 需 注意 的 是 动态 的 图 片 也 是 属于 静态 文件 。 从 SEO fü 
度 来 讲 ,HTML 页 面 更 有 利于 搜索 引擎 的 息 行 和 收录 。 常 见 的 静态 页 面 以 . html、. gif... 
jpg.. jpeg.. bmp,. png,. ico,. txt,. js,. css 等 结尾 。 

动态 页 面 通常 指 与 数据 库 发 生 交互 的 页 面 ,内 容 展 示 丰 富 , 功 能 非常 强大 ,实用 性 广 。 从 
SEO 角度 来 讲 , 搜 索引 擎 很 难 全 面 的 怜 行 和 收录 动态 网 页 ,因为 动态 网 页 会 随 着 数据 库 的 更 
新 ,参数 的 变更 而 发 生 改 变 , 常 见 的 动态 页 面 以 .jsp、 php、 do. asp、 cgi、. apsx 等 结尾 。 





12.2 Apache 与 PHP 工作 原理 


LAMP 企业 主流 架构 最 重要 的 三 个 环节 : 一 是 Apache Web 服务 器 ; 二 是 PHP(hypertext 
preprocessor); 三 是 MySQL 数据 库 。 
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Apache Web 服务 器 主要 是 基于 多 模块 工作 ,依赖 PHP SAPI 处 理 方式 中 的 PHP_ 
MODULE 去 解析 PHP 结尾 的 文件 ,如 图 12-1 所 示 。 


图 12-1 

















Apache 十 PHP 多 模块 工作 原理 


PHP 是 一 种 适用 于 Web 开发 的 动态 语言 ,PHP 语言 内 核 基 于 C 语言 实现 包含 大 量 组 
件 的 软件 框架 ,是 一 种 功能 强大 的 解释 型 脚本 语言 。PHP 底层 运行 机 制 如 图 12-2 所 示 。 


Application 
(apache, thttpd, cli, etc.) 








(see Chap 23) 


SAPI 











PHP 


PHP API 
(streams, output,etc.) 
(see Chap 22) 





Extensions 
(mysql. standard library, etc.) 
(see Chap 22) 











Zend API | | 


Zend Extension API 
(see Chap 23) 








Zend Engine 


图 12-2 PHP 底层 处 理 机 制 


PHP 底层 工作 原理 包括 以 下 4 个 部 分 。 
a Zend 引擎 : 属于 PHP 内 核 部 分 , 它 负 责 将 PHP 代码 解析 为 可 执行 opcode 的 处 理 
并 实现 相应 的 处 理 方法 、 实 现 基 本 的 数据 结构 、 内 存 分 配 及 管理 ,提供 了 相应 的 API 








Modular Code 
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方法 供 外 部 调用 ,是 一 切 的 核心 ,所 有 的 外 围 功能 均 围绕 Zend 实现 。 

Q Extensions: 围绕 着 Zend 引擎 ,Extensions 通过 组 件 的 方式 提供 各 种 基础 服务 ,各 
种 内 置 函数 ,标准 库 等 都 是 通过 Extensions 来 实现 的 。 

a SAPI: 服务 端 应 用 编程 接口 (server application programming interface. SAPI), 
SAPI 通 过 一 系列 钧 子 函数 ,基于 SAPI 可 以 让 PHP 与 外 部 进行 数据 交互 。 

a 常见 的 SAPI 编程 接口 处 理 方法 包括 以 下 几 种 : apache2handler 一 一 以 Apache 作为 
WebServer, 采 用 MOD_PHP 模式 运行 时 候 的 处 理 方式 ; cgi WebServer 和 PHP 
直接 的 另 一 种 交互 方式 ,FastCGI 协议 ; cli 命令 行 调用 的 应 用 模式 。 

a APP 代码 应 用 : 又 称 为 PHP 代码 程序 ,基于 SAPI 接口 生成 不 同 的 应 用 模式 ,从 而 
被 PHP 引擎 解析 。 

当 用 户 在 浏览 器 地 址 中 输入 域名 或 者 域名 和 PHP 页 面 ,向 Web 服务 器 Apache 发 起 
HTTP 请 求 , Web 服务 器 接受 该 请 求 , 并 根据 其 后 级 判断 如 果 请 求 的 页 面 是 以 . php 结尾 ， 
Web 服务 器 从 硬盘 或 者 内 存 中 取出 该 PHP 文 件 , 将 其 发 送 给 PHP 引擎 程序 。 

PHP 引擎 程序 将 会 对 Web 服务 器 传送 过 来 的 文件 进行 扫描 并 根据 命令 从 后 台 读 取 、 
处 理 数据 、 并 动态 地 生成 相应 的 HTML 页 面 。 然 后 PHP 引擎 程序 将 生成 的 HTML 页 面 
返回 给 Web 服务 器 ,最 终 Web 服务 器 将 HTML 页 面 返回 给 客户 端 浏览 器 ,浏览 器 基于 
MIME 类 型 进行 解析 展示 给 用 户 。 


12.3 LAMP 企业 安装 配置 


构建 LAMP 架构 有 两 种 方法 : 一 是 使 用 YUM 在 线 安装 ; 另外 一 种 是 基于 LAMP 源 
码 编译 安装 ,YUM 在 线 安装 方法 如 下 : 











yum install httpd httpd - devel mysql mysql - server mysql - devel php php - devel php- mysql - y 
service httpd restart 
service mysqld restart 


YUM 方式 安装 简单 .快捷 ,如 果 需 要 添加 扩展 的 功能 和 模块 , 需 使 用 源码 方式 来 编译 
安装 LAMP。 以 下 为 LAMP 源码 编译 安装 的 步骤 : 
(1) Apache Web 安装 , 先 安装 apr、apr-utils 库 包 。 


yum install apr - devel apr — util- devel —y; 

cd /usr/src ; 

wget http: //mirror. bit. edu. cn/apache/httpd/httpd - 2.2.31. tar.gz 

tar xzf httpd- 2.2.31. tar.gz 

cd httpd- 2.2.31 

./configure -- prefix = /usr/local/apache -- enable- so —- enable- rewrite 
make 

make install 


(2) MySQL 数据 库 安装 ,基于 MySQL 5. 5 编译 安装 ,通过 cmake, make, make install 
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三 个 步骤 实现 。 


yum install cmake ncurses - devel ncurses 一 了 
cmake . — DCMAKE INSTALL PREFIX = /usr/local/mysq155 V 
— DMYSQL UNIX ADDR- /tmp/mysql. sock V 

— DMYSQL DATADIR = /data/mysql V 

— DSYSCONFDIR - /etc V 

— DMYSQL USER = mysql V 

- DMYSQL TCP PORT = 3306 V 

- DWITH XTRADB STORAGE ENGINE = 1 V 

— DWITH INNOBASE STORAGE ENGINE = 1 V 

— DWITH PARTITION STORAGE ENGINE = 1 V 

- DWITH BLACKHOLE STORAGE ENGINE = 1 V 

— DWITH MYISAM STORAGE ENGINE = 1 V 

- DWITH_READLINE = 1 V 

- DENABLED_LOCAL_INFILE = 1 V 

— DWITH_EXTRA_CHARSETS = 1 V 

— DDEFAULT_CHARSET = ut £8 V 

— DDEFAULT_COLLATION = utf8_general_ci V 
— DEXTRA CHARSETS = all V 

- DWITH BIG TABLES = 1 Y 

- DWITH DEBUG = 0 
make 
make install 


将 源码 安装 的 MySQL 数据 库 服务 设置 为 系统 服务 ,可 以 使 用 chkconfig 管理 ,并 启动 
MySQL 数据 库 , 代 码 如 下 : 


cd /usr/local/mysql55/ 

\cp support - files/my - large. cnf /etc/my.cnf 

\cp support ~ files/mysql. server /etc/init.d/mysqld 
chkconfig —- add mysqld 

chkconfig —- level 35 mysqld on 

mkdir -p /data/mysql 

useradd mysql 
/usr/local/mysql55/scripts/mysgl install db -- user = mysql -- datadir = /data/mysql/ 
—- basedir = /usr/local/mysq155/ 

ln - s /usr/local/mysql55/bin/* /usr/bin/ 

service mysqld restart 


(3) PHP 服务 安装 ,PHP 需 与 Apache, MySQL 进行 整合 ,参数 命令 如 下 ,详情 如 图 12-3 
所 示 。 


cd /usr/src 

wget http://mirrors. sohu. con/php/php - 5.3.28. tar. bz2 
tar jxf php - 5. 3. 28. tar. bz2 

cd php - 5.3.28 ; 
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./configure —- prefix- /usr/local/php5 —- with- config- file- path= /usr/local/php5/etc 
—— with- apxs2 = /usr/local/apache/bin/apxs -- with- mysql = /usr/local/mysql55/ 





图 12-3 LAMP 源码 编译 整合 


(4) Apache 十 PHP 源码 整合 
为 了 能 让 Apache 识别 PHP 文件 ,需要 将 PHP 安装 完成 后 生成 的 libphp5. so 模块 与 
Apache 进行 整合 ,vim httpd. conf 编辑 配置 文件 ,加 入 如 下 代码 : 





LoadModule php5 module modules/libphp5.so 
AddType application/x- httpd- php . php 


DirectoryIndex index. php index. html index. htm 


(5) 测试 Apache + PHP 环境 
创建 PHP 测试 页 面 , 在 /usr/local/apache/htdocs 目录 下 创建 index. php 测试 文件 , 执 
行 如 下 命令 : 


cat >/usr/local/apache/htdocs/index. php << EOF 








<?php 

phpinfo(); 

?> 

EOF 

重新 启动 Apache 服务 ,浏览 器 输入 Apache Web 的 IP 访问 ,如 图 12-4 所 示 , 即 代表 


LAMP 源码 环境 整合 成 功 
(6) Discuz PHP 论坛 安装 
LAMP 源码 整 之 后 ,Discuz 官网 下 载 Discuz 开源 PHP 软件 包 ,将 软件 包 解 压 至 
Apache htdocs 发 布 目录 ,命令 如 下 : 






cd /usr/src ; 

wget http: //download. comsenz. com/DiscuzX/3.1l/Discuz X3.1 SC UTF8.zip 
unzip Discuz X3.1 SC UTF8.zip - d /usr/local/apache/htdocs/ 

cd /usr/local/apache/htdocs/ ; \mv upload/ * 
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chmod 757 — R data/ uc server/ config/ uc client/ 


通过 浏览 器 访问 Apache Web IP, 如 图 12-5 所 示 , 单 击 “ 我 同意 ”按钮 。 





12-4 Apache+ PHP 测试 页 面 


| Discuz! 安装 向 导 


| 中 文 版 授权 协议 适用 于 中 文 用 户 i 





版 权 所 有 (c) 2001-2013 , ARAMA TOD A, 


SPSS R. RERNMOSACATEA TERRE. BARRAR ,和 8 大 的 社区 论坛 解决 方 
E. IRS S)F48t2) http://www.comsenz.com , 产品 官方 讨论 区 网 址 为 http://www.discuz.net. 


RAMI : 本 协议 时 你 与 玉生 公司 之 问 关于 泡 使 用 康 丰 公司 提供 的 各 种 软件 产品 及 服务 的 法 律 娄 议 。 无 沦 忽 是个 人 
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©2001 - 2013 Comsenz Inc. | 
人 ~ 


图 12-5 Discuz 安装 界面 (1) 
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进入 如 图 12-6 所 示 界 面 .数据 库 安装 .如 果 不 存 在 则 需要 新 建 数 据 库 并 授权 。 
Discuz! 安装 向 导 


Discuz!X3.1 MOA UTFS 版 20140301 


了 安装 数据 库 











Pai 
ogma ogma ogm == 
aGsmngsas 

mTRSESE. 

mESE: 

mass: 

mas | 123456 t 

massa pre_ BH—mekGS Not! amana 
ERAM Email: admin@admin.com Frese sama 


图 12-6 Discuz 安装 界面 (2) 
MySQL 数据 库 命 令 行 中 创建 PHP 连接 MySQL 的 用 户 及 密码 ,命令 如 下 : 


create database discuz charset = utf8; 
grant all on discuz. * to root@'localhost' identified by "123456"; 


单 击 “下 一 步 "按钮 ,直至 安装 完成 ,浏览 器 自动 跳 转 至 如 图 12-7 所 示 界 面 。 
amc eara 
Q 社区 动力 

DISCUZ! 


us- E] se so oe ce 


d 


图 $B:0 nae uro Amd mA amm 

Decus 

@ muse 

MAD -1 AM - ABORALIOSR-ESERE 1 于 2014526. 
ees Gene Ge: [jet 
sw=owwawnaanGu 


图 12-7 Discuz 安装 界面 (3) 


12.4 LAMP 企业 架构 拓展 实战 


LAMP 服务 安装 至 单 台 服务 器 , 随 着 用 户 访问 量 不 断 地 增加 , 单 台 服 务 器 压力 逐渐 增 
加 :那么 如 何 优化 LAMP 架构 .如 何 拆 分 LAMP 架构 :怎么 把 Apache 和 MySQL 分 开放 在 
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不 同 的 机 器 上 呢 ? 

LAMP 架构 拆 分 的 目的 在 于 缓解 单 台 服务 器 的 压力 ,可 以 将 PHP, MySQL 单独 安装 
至 多 台 服 务 器 ,本 节 将 实现 LAP 十 MySQL 的 架构 ,也 即 是 把 MySQL 单独 拆 分 出 去 。 部 署 
方法 有 以 下 两 种 : 

(1) YUM 安装 LAMP 多 机 方案 。 

在 Apache Web 服务 器 只 需 执 行 如 下 代码 : 


yum install httpd httpd - devel php- devel php php- mysql - y 
在 MySQL 数据 库 服务 器 只 需 执 行 如 下 代码 : 
yum install mysql - server mysql mysql - devel nysql- libs -y 


(2) 源码 安装 LAMP 多 机 方案 。 

源码 安装 LAMP 多 机 方式 ,Apache Web 服务 与 MySQL 数据 库 服务 分 别 部 署 在 不 同 
的 服务 器 即 可 ,PHP 与 Apache 服务 部 署 在 一 台 服 务 器 ,PHP 编译 参数 时 加 入 如 下 代码 进 
行 LAMP 的 整合 ,mysqlnd 为 PHP 远程 连接 MySQL 数据 库 服务 器 的 一 种 方式 。 

./configure -- prefix = /usr/local/php5 V 

—— with- mysql = mysqlnd -- with- mysqli = nysqlnd -- with- pdo - mysql = nysqlnd V 

—— with- apxs2 = /usr/local/apache/bin/apxs 


make 
make install 


12.5 LAMP + Redis 企业 实战 


LAMP 在 企业 生产 环境 中 ,除了 将 MySQL 单独 部 署 在 其 他 服务 器 ,由 于 MySQL 数据 
库 压 力 会 很 大 ,还 会 使 用 MySQL 主 从 复制 及 读 写 分 离 架 构 , 同 时 会 对 PHP 网 站 进行 调 优 。 
PHP 的 优化 手段 包括 : PHP 代码 本 身 优化 .PHP 配置 文件 优化 ,为 PHP 添加 缓存 模块 ,将 
PHP 网 站 数据 存 人 缓存 等 。 


12.5.1 Redis 入 门 简介 


Redis 是 一 个 开源 的 使 用 ANSI C 语言 编写 、 支 持 网 络 、 可 基于 内 存 亦 可 持久 化 的 日 志 
型 key-value 数据 库 ,并 提供 多 种 语言 的 API Redis 是 一 个 key-value 存储 系统 。 

Redis 支持 存储 的 value 类 型 包括 string( 字 符 串 ) list (HEK) 、set( 集 合 ) ,zset( 有 序 集 
合 ) 和 hash( 哈 希 类 型 ) 等 。 

Redis 是 一 种 高 级 key-value 数据 库 , 它 跟 Memcached 类 似 ,不 过 Redis 的 数据 可 以 持 
久 化 ,而 且 支 持 的 数据 类 型 更 丰富 ,有 字符 串 链表 、 集 合 和 有 序 集合 。 同 时 Redis 支持 在 服 
务 器 端 计算 集 合 的 并 、 交 和 补 集 (difference) 等 ,还 支持 多 种 排序 功能 。Redis 也 被 看 成 是 一 
个 数据 结构 服务 器 。 
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Redis 很 大 程度 补偿 了 Memcached key-value 存储 的 不 足 ,在 部 分 场合 可 以 对 关系 数据 
库 起 到 很 好 的 补充 作用 。Redis 提供 了 Java,.CVC++,C 并 ,PHP,JavaScript,Perl,Object-C， 
Python, Ruby, Erlang 等 客户 端 .方便 易 用 ,得 到 IT 人 的 青睐 。 

Redis 支持 主 从 同步 ,数据 可 以 从 主 服 务 器 向 任意 数量 的 从 服务 器 上 同步 ,从 服务 器 可 
以 是 关联 其 他 从 服务 器 的 主 服 务 器 。 这 使 得 Redis 可 执行 单 层 树 复制 ,由 于 完全 实现 了 发 
布 /订阅 机 制 , 使 得 从 数据 库 在 任何 地 方 同步 树 时 ,可 订阅 一 个 频道 并 接收 主 服务 器 完整 的 
消息 发 布 记录 ,同步 对 读 取 操 作 的 可 扩展 性 和 数据 元 余 很 有 帮助 。 

使 用 Redis 的 互联 网 企业 有 京东 \ 百 度 . 腾 讯 ` 阿 里 巴巴 新浪、 图 吧 、 研 修 网 等 ,目前 的 
主流 数据 库 功 能 对 比如 表 12-1 所 示 。 


表 12-1 常见 数据 库 功 能 对 比 












































名 | ”数据 库 类 型 数据 存储 选项 操作 类 再 & W 
e [RE mone ni o mma en EE 
emake or 刍 值 之 间 的 映射 增删 修改 .更 新 | 支持 多 线程 
MySQL E UM Apud Md 增 . 删 .修改 .更 新 | 支持 ACID 性 质 
PostgreSQL prb pedi M 增删 修改 .更 新 | 支持 ACID 性 质 
MongoDB ide EE 数据 库 包含 多 个 表 — | 增 . 删 . 修 改 .更 新 “ee aba 


12.5.2 LAMP 十 Redis 工作 机 制 


LAMP 十 Redis 工作 机 制 : 用 户 通过 浏览 器 访问 LAMP 网 站 ,并 以 用 户 名 和 密码 登录 
到 网 站 ,默认 Redis 缓存 中 没有 该 用 户 名 和 密码 对 应 列表 .PHP 程序 会 读 取 MySQL 数据 库 
中 的 用 户 名 和 密码 ,然后 将 用 户 名 和 密码 缓存 至 Redis 中 ,下 次 用 户 通过 浏览 器 再 次 使 用 同 
样 的 用 户 名 和 密码 登录 网 站 ,PHP 无 须 从 数据 库 中 读 取 该 用 户 和 密码 信息 ,而 是 直接 优先 
从 Redis 缓存 中 读 取 并 返回 ,从 而 减轻 MySQL 数据 库 的 压力 。 

Redis 除了 可 以 缓存 用 户 名 、 密 码 . 还 可 以 缓存 PHP 论坛 各 种 数据 ,例如 用 户 帖子 、 用 
户 动 态 等 ,如 图 12-8 所 示 。 

要 实现 将 LAMP PHP 网 站 相关 数据 存 人 Redis, 需 要 一 台 Redis 服务 器 .PHP-Redis 
连接 驱动 .PHP 代码 配置 等 。 


12.5.3 LAMP 十 Redis 操作 案例 
LAMP PHP 连接 Redis ,首先 需 安 装 Redis 服务 .安装 连接 驱动 ,然后 修改 PHP 网 站 配 
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Website A 





Redis 








MySQL 1: J &i l 
读 写 分 离 


图 12-8 LAMP 十 Redis 架构 流程 图 


置 文件 ,具体 操作 步骤 如 下 : 

(D LAMP 十 Redis 实战 环境 配置 ,详细 配置 如 下 : 

a LAMP 服务 器 : 192. 168. 149. 128, 

a Redis 主 库 : 192. 168. 149. 129, 

a Redis 从 库 : 192. 168. 149. 130. 

(2) 192. 168. 149. 129 服务 器 安装 部 署 Redis 服务 ,代码 如 下 : 

wget http: //download. redis. io/releases/redis - 2.8.13. tar.gz 

tar zxf redis - 2.8.13. tar.gz 

cd redis - 2.8.13 

make PREFIX = /usr/local/redis install 

cp redis. conf/usr/local/redis/ 

将 /usr/local/redis/bin/ 目 录 加 入 至 环境 变量 配置 文件 /etc/profile 末尾 ,然后 shell 终 
端 执行 source /etc/profile 让 环境 变量 生效 ,代码 如 下 : 


export PATH = /usr/local/redis/bin: $PATH 
nohup 后 台 启 动 及 停止 Redis 服务 命令 ,代码 如 下 : 


nohup /usr/local/redis/bin/redis - server /usr/local/redis/redis. conf & 

/usr/local/redis/bin/redis - cli - p 6379 shutdown 

(3) 安装 PHP-Redis 连接 驱动 。 

要 确保 PHP 能 够 连接 Redis 缓存 服务 器 , 需 添 加 PHP-Redis 扩展 程序 ,也 即 是 添加 
PHP 安装 ext 扩展 模块 ,添加 方法 如 下 : 


wget https://github. con/phpredis/phpredis/archive/3.1.2.tar.gz 
tar xzf 3.1.2. tar.gz 
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cd phpredis - 3. 1. 2/ 


./configure —— with- php- config = /usr/local/php5/bin/php- config —- enable - redis 
make 


make install 


修改 vim /usr/local/php/lib/php. ini 配置 文件 ,添加 redis. so 模块 ,代码 如 下 : 


extension dir = "/usr/local/php5/lib/php/extensions/no - debug - zts 一 20090626" 
extension = redis.so 


重启 Apache 服务 , 写 入 phpinfo 测试 页 面 ,通过 浏览 器 访问 ,如 图 12-9 所 示 , 检 查 到 存 
在 Redis 模块 即 可 。 


redis 


Redis Version 312 
Available serializers phe 








Reflection 


—wa cF a 
图 12-9 PHP-Redis 模块 添加 
(4) LAMP 十 Redis 缓存 测试 。 
登录 192. 168. 149. 128 Web 服务 器 ,修改 Discuz PHP 网 站 发 布 /usr/local/apache2/ 
htdcos 目录 全 局 配置 文件 config. global. php, 查 找 CONFIG MEMORY Et. ¥ [ ' redis' ] 
['server'] 后 改 为 Redis 主 服务 器 的 IP, 即 改 为 192. 168. 149. 129 ,如 图 12-10 所 示 。 





图 12-10 PHP-Redis 配置 文件 修改 


通过 浏览 器 访问 Apache PHP 论坛 网 站 ,同时 登录 Redis 服务 器 ,执行 命令 redis-cli 进 
入 Redis 命令 行 ,运行 命令 KEYS * ,如 图 12-11 所 示 , 存 在 以 IOKLAN 开头 的 key, 则 证 明 
Redis 成 功 缓存 LAMP 十 Discuz 网 站 数据 。 

(5) 测试 Redis 缓存 是 否 生效 。 

访问 LAMP 十 Discuz 网 站 ,创建 论坛 测试 用 户 jfedu666 ,密码 jfedu666, 此 时 用 户 数据 
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QL 数据 库 表 中 ,同时 该 数据 也 会 写 入 到 Redis 组 





第 一 次 注册 ,用 户 名 和 密码 会 写 人 到 M 
存 , 如 图 1 所 示 。 








userstats 
xtrur 


-common 
n_onlinel 


eld_home_1 





图 12-11 Redis 缓存 LAMP KEYS 数据 


MAg: |Fedu666 








(a) 创建 论坛 用 户 和 密码 


admin@admin.com 2 b6f6b8b8df8Obae 
jfeduéqq. com 15a67a7ada8faf14e164184eb1313. 
jfedujfeduel63.com | jfedujfedu | c730c9b640b5c63479e34011b97' 

Jfedub668qq. com jfedu666 022d7c92fbcb3e5b25e3a83 


“IOKLan_creditrule” 
“rokLan_fields_required” 
"IOKLan common member 5" 
) "IOKLan userapp 
379» get IOkLan common member 
1:\"5\";s:5:\"email\";s:15 
'c92fbcb3eSb25e3a83983a\";s:6:\" 
videophotostatus\ z 
: Vlextgroupids V"; s:0 
15:10: Vtimeoffset V ;5:4: 
allowadrincpV" 5:1: V0V 5:18: V^ 


redis 127.0.0.1:6379> 





(c) Redis RFF WRR 


图 12-12 Wik Redis 缓存 
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将 jfedu666 从 MySQL Discuz 库 pre common member 中 删除 ,通过 该 用 户 
正常 登录 Web 网 站 , 则 证 明 此 时 数据 读 取 的 是 Redis 缓存 服务 器 ,如 图 12-13 所 示 。 





可 以 





> delete from pre common member where username="jfedu666"; 


OK, 1 row affected 00 sec) 





(a) 删除 数据 库 用 户 和 密码 
E PUE 活动 交友 discuz 


fedu666 





来， 新 手 上 路 jfedu666, 





身 ) 1 (NT - 最 高 记录 是 2 于 2017-6-9. 


T an 


(b) 用 户 名 和 密码 登录 Discuz 论 坛 


jfedu666 | 我 的 ”| BE AS iO) Ae 
积分 : 2 MAIR: 新 手 上 路 


交友 discuz 
HAMS BFAS 


(c) 登录 到 Discuz 论 坛 


图 12-13 测试 Redis 缓存 是 否 生 效 


12.6 Redis 配置 文件 详解 


Redis 是 一 个 内 存 数据 库 ,redis. conf 常用 参数 的 详解 如 下 : 


# daemonize no Linux shell 终端 运行 Redis, 改 为 yes 即 后 台 运 行 Redis 服务 
daemonize yes 
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# 当 运 行 多 个 Redis 服务 时 ,需要 指定 不 同 的 pid 文件 和 端口 

pidfile /var/run/redis 6379.pid 

# 指定 Redis 运行 的 端口 ,默认 是 6379 

port 6379 

# 在 高 并 发 的 环境 中 ,为 避免 慢 客户 端的 连接 问题 , 需要 设置 一 个 高 速 后 台 日 志 
tcp- backlog 511 

# 指定 Redis 只 接收 来 自 于 该 IP 地 址 的 请 求 ,如 果 不 进行 设置 ,那么 将 处 理 所 有 请 求 
# bind 192.168.1.100 10.0.0.1 

# bind 127.0.0.1 

# 设置 客户 端 连接 时 的 超时 时 间 , 单 位 为 s. 当 客户 端 在 这 段 时 间 内 没有 发 出 任何 指令 ,那么 关闭 该 连接 
timeout 0 

* 在 Linux 上 ,指定 值 (s) 用 于 发 送 ACKs 的 时 间 . 注 意 关 闭 连接 需要 双 倍 的 时 间 . 默 认为 0 
tcp - keepalive 0 

# Redis 总 共 支持 4 个 日 志 级 别 : debug, verbose,notice,warning, 默认 为 verbose 
# debug: 记录 很 多 信息 ,用 于 开发 和 测试 

# varbose: 有 用 的 信息 ,不 像 debug 会 记录 那么 多 

# notice: 普通 的 verbose, 常用 于 生产 环境 

# warning: 只 有 非常 重要 或 者 严重 的 信息 会 记录 到 日 志 

loglevel notice 

# Ñu W: Log 文件 地 址 

# 默认 值 为 stdout, 标 准 输出 , 若 后 台 模式 会 输出 到 /dev/nu11 

logfile /var/log/redis/redis. log 

* 可 用 数据 库 数 

# 默认 值 为 16, 默 认 数 据 库 为 0, 数 据 库 范围 在 0 一 ( database - 1 ) 之 间 
databases 16 

# 数 据 写 人 磁盘 快照 设置 

井 保 存 数据 到 磁盘 ,格式 如 下 

# save < seconds >< changes > 

# 指 出 在 多 长 时 间 内 ,有 多 少 次 更 新 操作 ,就 将 数据 同步 到 数据 文件 rdb 

# 相 当 于 条 件 触 发 抓 取 快照 ,这 个 可 以 多 个 条 件 配 合 

2 比如 默认 配置 文件 中 的 设置 ,就 设置 了 3 个 条 件 

# save 900 1 : 900s 内 至 少 有 1 个 key 被 改变 

# save 300 10 : 300s 内 至 少 有 300 个 key 被 改变 

save 60 10000 : 60s 内 至 少 有 10000 个 key 被 改变 

# save 9001 

# save 300 10 

save 60 10000 

后 台 存储 错误 停止 写 

stop- writes - on - bgsave - error yes 

# 存储 至 本 地 数据 库 时 (持久 化 到 rdb 文件 ) 是 否 压缩 数据 ,默认 为 yes 
rdbcompression yes 

本 地 持久 化 数据 库 文件 名 ,默认 值 为 dump. rdb 

dbfilename dump. rdb 

工作 目录 

# 数据 库 镜像 备份 的 文件 放置 的 路 径 

这 里 的 路 径 跟 文件 名 要 分 开 配 置 是 因为 Redis 在 进行 备份 时 , 先 会 将 当前 数据 库 的 状态 写 入 到 一 
个 临时 文件 中 ,等 备份 完成 
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# 再 把 该 该 临时 文件 蔡 换 为 上 面 所 指定 的 文件 ,而 这 里 的 临时 文件 和 上 面 所 配置 的 备份 文件 都 会 放 
# 在 这 个 指定 的 路 径 当中 

# AOF 文件 也 会 存放 在 这 个 目录 下 面 

# 注意 这 里 必须 指定 一 个 目录 而 不 是 文件 

dir /var/lib/redis/ 

并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 复制 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 
* 主 从 复制 ,设置 该 数据 库 为 其 他 数据 库 的 从 数据 库 

+ 设置 当 本 机 为 slave 服务 时 ,设置 master 服务 的 IP 地 址 及 端口 ,在 Redis 启动 时 , 它 会 自动 从 
# master 进行 数据 同步 

井 slaveof < masterip><masterport > 

# 当 master 服务 设置 了 密码 保护 时 ( 用 requirepass 制定 的 密码 ) 

# slave 服务 连接 master 的 密码 

# masterauth <master - password > 

# 当 从 库 同 主机 失去 连接 或 者 复制 正在 进行 ,从 机 库 有 两 种 运行 方式 

# (1) 如 果 slave- serve- stale- data 设置 为 yes( 默认 设置 ), 从 库 会 继续 响应 客户 端的 请 求 

# (2) 如 果 slave- serve- stale- data 设置 为 no, 除 去 INFO 和 SLAVOF 命令 之 外 的 任何 请 求 都 会 
# 返回 一 个 

# 错误 "SYNC with master in progress" 

slave- serve - stale- data yes 

# 配置 slave 实例 是 否 接受 写 . 写 slave 对 存储 短暂 数据 (在 同 master 数据 同步 后 可 以 很 容易 地 被 
# 删除 ) 是 有 用 的 ,但 未 配置 的 情况 下 ,客户 端 写 可 能 会 发 送 问题 

# 从 Redis 2.6 后 ,默认 slave 为 read - only 

slaveread - only yes 

# 从 库 会 按照 一 个 时 间 间 隔 向 主 库 发 送 pings, 可 以 通过 repl - ping- slave - period 设置 这 个 时 间 
间隔 ,默认 是 10s 

repl- ping- slave - period 10 

repl- timeout: 设置 主 库 批量 数据 传输 时 间或 者 ping 回复 时 间 间 隔 ,默认 值 是 60s 

一 定 要 确保 repl- timeout 大 于 repl- ping- slave - period 

# repl- timeout 60 

* 在 slave socket 的 SYNC 后 禁用 TCP_NODELAY 

# 如 果 选 择 ”yes ", Redis 将 使 用 一 个 较 小 的 数字 TCR 数据 包 和 更 少 的 带宽 将 数据 发 送 到 slave, 但 
# 是 这 可 能 导致 数据 发 送 到 slave 端 会 有 延迟 ， 如 果 是 Linux kernel 的 默认 配置 ,会 达到 40ms 

# 如 果 选 择 "no", 则 发 送 数据 到 slave 端的 延迟 会 降低 ,但 将 使 用 更 多 的 带宽 用 于 复制 

repl- disable - tcp- nodelay no 

设置 复制 的 后 台 日 志 大 小 

# 复制 的 后 台 日 志 越 大 ,slave 断 开 连接 及 后 来 可 能 执行 部 分 复制 花 的 时 间 就 越 长 

+ 后 台 日 志 在 至 少 有 一 个 slave 连接 时 ,仅仅 分 配 一 次 

repl- backlog - size lmb 

在 master 不 再 连接 slave 后 ,后 台 日 志 将 被 释放 .下 面 的 配置 定义 从 最 后 一 个 slave 断 开 连接 后 
需要 释放 的 时 间 (s) 

0 意味 着 从 不 释放 后 台 日 志 

repl- backlog - ttl 3600 

如 果 master 不 能 再 正常 工作 ,那么 会 在 多 个 slave 中 , 选择 优先 值 最 小 的 一 个 slave 提升 为 
master, 优先 值 为 0 表示 不 能 提升 为 master 

slave- priority 100 

如 果 少 于 N 个 slave j, 且 延 迟 时 间 三 Ms, 则 master 可 配置 停止 接受 写 操作 

例如 需要 至 少 3 个 slave 连接 , 且 延 迟 三 10s 的 配置 


ae dE ae te 
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# min- slaves - to- write 3 

# min- slaves - max - lag 10 

# 设置 0 为 禁用 

# 默认 min- slaves - to- write Jj 0 (禁用 ),min- slaves - max - lag 10 

并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 安全 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 
# 设置 客户 端 连接 后 进行 任何 其 他 指定 前 需要 使 用 的 密码 

# 警告 : 因为 Redis 速度 相当 快 ,所 以 在 一 台 比 较 好 的 服务 器 下 ,一 个 外 部 的 用 户 可 以 在 一 秒 钟 进行 
150K 次 的 密码 尝试 , 这 意味 着 你 需要 制定 非常 非常 强大 的 密码 来 防止 暴力 破解 

requirepass jfedu 

命令 重 命名 

在 一 个 共享 环境 下 可 以 重 命名 相对 危险 的 命令 .例如 把 CONFIG 重 命名 为 一 个 不 容易 猜测 的 字符 
举例 

rename - command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52 

如 果 想 删除 一 个 命令 ,直接 把 它 重 命名 为 一 个 空 字符 "” 即 可 

rename - command CONFIG "" 

düsüsüdBddddsddudsssdsssesss 约束 SRRESRSRRSRRRERSSRESRESSEREHRRESRSRERESRRERRH RH 
# 设 置 同一 时 间 最 大 客户 端 连接 数 ,默认 无 限制 

# Redis 可 以 同时 打开 的 客户 端 连接 数 为 Redis 进程 可 以 打开 的 最 大 文件 描述 符 数 

# 如 果 设 置 naxclients 0, 表 示 不 作 限 制 

A 当 客 户 端 连接 数 到 达 限 制 时 , Redis 会 关闭 新 的 连接 并 向 客户 端 返回 max number of clients 

# reached 错误 信息 

# maxclients 10000 

# 指定 Redis 最 大 内 存 限制 ,Redis 在 启动 时 会 把 数据 加 载 到 内 存 中 , 达到 最 大 内 存 后 ,Redis 会 按 
A 照 清除 策略 尝试 清除 已 到 期 的 key 

* 如 果 Redis 依照 策略 清除 后 无 法 提供 足够 空间 ,或 者 策略 设置 为 "noeviction", 则 使 用 更 多 空间 的 
+ 命令 将 会 报错 ,例如 SET, LPUSH 等 .但 仍然 可 以 进行 读 取 操 作 

# 注意 : Redis 新 的 vm 机 制 ,会 把 key 存放 内 存 , value 会 存放 在 swap 区 

# 该 选项 对 LRU 策略 很 有 用 

# maxmemory 的 设置 比较 适合 于 把 Redis 当 作 于 类 似 Mencached 的 缓存 来 使 用 ,而 不 适合 当 作 一 个 
* 真实 的 DB 
# 
# 
# 


3k ae dt dk dk dp d d 


当 把 Redis 当 作 一 个 真实 的 数据 库 使 用 的 时 候 ,内 存 使 用 将 是 一 个 很 大 的 开销 

maxmemory < bytes > 

当 内 存 达到 最 大 值 的 时 候 Redis 会 选择 删除 哪些 数据 ?有 5 种 方式 可 供 选择 

volatile- lru ->: 利用 LRU 算法 移 除 设置 过 期 时 间 的 key, LRU 即 最 近 使 用 (least recently 
# used) 

# allkeys- lru —>: 利用 LRU 算法 移 除 任 何 key 

# volatile- random ->: 移 除 设置 过 期 时 间 的 随机 key 

allkeys - > random - > 移 除 随机 key, 任何 key 

volatile- ttl ->: 移 除 即 将 过 期 的 key(minor TTL) 

noeviction ->: 不 移 除 任何 key, 只 是 返回 一 个 写 错误 

注意 : 对 于 上 面 的 策略 ,如 果 没 有 合适 的 key 可 以 移 除 , 当 写 的 时 候 Redis 会 返回 一 个 错误 
默认 是 volatile - lru 

maxmemory — policy volatile- lru 

LRU 和 minimal TTL 算法 都 不 是 精准 的 算法 ,但 是 相对 精确 的 算法 ( 为 了 节省 内 存 ), 你 可 以 随意 
选择 样本 大 小 进行 检测 

Redis 默认 的 会 选择 3 个 样本 进行 检测 ,你 可 以 通过 maxnenory - samples 进行 设置 


maxmemory 一 samples 3 
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井 # 井 井 井 井 井 井 井 井 井 并 井 并 井 间 并 间 并 并 井 并 并 并 并 并 并 AOF HAHHA HS SHH SHS SHS HHH SESH 
# 默认 情况 下 ,Redis 会 在 后 台 异 步 的 把 数据 库 镜 像 备份 到 磁盘 ,但 是 该 备份 是 非常 耗 时 的 , 而 且 备 
* 份 也 不 能 很 频繁 ,如 果 发 生 诸 如 拉 闸 限 电 、 拔 插头 等 状况 ,那么 将 造成 比较 大 范围 的 数据 丢失 

* 所 以 Redis 提供 了 另外 一 种 更 加 高 效 的 数据 库 备 份 及 灾难 恢复 方式 

* 开启 append only 模式 之 后 ,Redis 会 把 所 接收 到 的 每 一 次 写 操作 请 求 都 追加 到 appendonly. aof 
# 文件 中 , 当 Redis 重新 启动 时 ,会 从 该 文件 恢复 出 之 前 的 状态 

# 但 是 这 样 会 造成 appendonly.aof 文件 过 大 ,所 以 Redis 还 支持 了 BGREWRITEAOF 指令 ,对 

# appendonly. aof 进行 重新 整理 

# 你 可 以 同时 开启 asynchronous dumps 和 AOF 

appendonly no 

* AOF 文件 名 称 ( 默认 为 "appendonly. aof" ) 

# appendfilename appendonly. aof 

# Redis 支持 3 种 同步 AOF 文件 的 策略 

* no: 不 进行 同步 , 系统 去 操作 . Faster 

# always: always 表示 每 次 有 写 操作 都 进行 同步 . Slow, Safest 

# everysec: 表示 对 写 操作 进行 累积 ,每 秒 同步 一 次 . Compromise 

# 默认 是 "everysec", 按 照 速度 和 安全 折 中 这 是 最 好 的 

* 如 果 想 让 Redis 能 更 高 效 的 运行 ,你 也 可 以 设置 为 "no", 让 操作 系统 决定 什么 时 候 去 执行 

# 或 者 相反 想 让 数据 更 安全 你 也 可 以 设置 为 "always” 

# 如 果 不 确定 就 用 "everysec” 

* appendfsync always 

appendfsync everysec 

* appendfsync no 

# AOF 策略 设置 为 always 或 者 everysec 时 ,后 台 处 理 进 程 ( 后 台 保 存 或 者 AOF 日 志 重 写 ) 会 执行 
# 大 量 的 1/0 操作 

# 在 某 些 Linux 配置 中 会 阻止 过 长 的 fsync() 请 求 .注意 现在 没有 任何 修复 ,即使 fsync 在 另外 一 
# 个 线程 进行 处 理 

# 为 了 减缓 这 个 问题 ,可 以 设置 下 面 这 个 参数 no - appendfsync - on - rewrite 

no - appendfsync - on - rewrite no 

* AOF 自动 重 写 

* 当 BOF 文件 增长 到 一 定 大 小 的 时 候 Redis 能 够 调用 BGREWRITEAOF 对 日 志文 件 进行 重 写 

# 它 是 这 样 工作 的 : Redis 会 记 住 上 次 进行 写 日 志 后 文件 的 大 小 ( 如 果 从 开机 以 来 还 没 进行 过 重 
# 写 , 那 日 志 大 小 在 开机 的 时 候 确 定 ) 

基础 大 小 会 同 现在 的 大 小 进行 比较 . 如 果 现 在 的 大 小 比 基 础 大 小 更 大 , 重 写 功能 将 

# 启动 

# 同时 需要 指定 一 个 最 小 大 小 用 于 MOF 重 写 , 这 个 用 于 阻止 即使 文件 很 小 但 是 增长 幅度 很 大 也 去 重 
* 写 MOF 文件 的 情况 

设置 percentage 为 0 就 关闭 这 个 特性 

auto - aof - rewrite - percentage 100 

auto - aof - rewrite - min- size 64mb 

HARHHHHHHHHHHHHHHHHHHHHH LUA SCRIPTING 4+4H4HHHHHHHHHHHS SHES HEHE 
一 个 LUA 脚本 最 长 的 执行 时 间 为 5000ms( 5s), 如 果 为 0 或 负数 表示 无 限 执行 时 间 

lua- time- limit 5000 

Bassssssssesssss22s22252222 LOW LOG 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 
# Redis slow log: 记录 超过 特定 执行 时 间 的 命令 .执行 时 间 不 包括 1/0 计算 ,例如 连接 客户 端 ,返回 
结果 等 ,只 是 命令 执行 时 间 

可 以 通过 两 个 参数 设置 slow 1og- 一 个 是 告诉 Redis 执行 超过 多 少时 间 被 记录 的 参数 slowlog — 
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# log- slower- than( ps ) 

* 另 一 个 是 slow log 的 长 度 . 当 一 个 新 命令 被 记录 的 时 候 最 早 的 命令 将 被 从 队列 中 移 除 
* 下 面 的 时 间 以 ps 为 单位 ,因此 1000000 代表 1s 

# 注意 指定 一 个 负数 将 关闭 慢 日 志 , 而 设置 为 0 将 强制 每 个 命令 都 会 记录 

slowlog - log- slower - than 10000 

# 对 日 志 长 度 没有 限制 ,只 是 要 注意 它 会 消耗 内 存 

* 可 以 通过 SLOWLOG RESET 回收 被 慢 日 志 消耗 的 内 存 

# 推荐 使 用 默认 值 128, 当 慢 日 志 超 过 128 时 ,最 先进 入 队列 的 记录 会 被 踢 出 
slowlog - max- len 128 


12.7 Redis 常用 配置 


Redis 缓存 服务 器 命令 行 中 常用 命令 如 下 : 
Redis CONFIG 命令 格式 如 下 : 


redis 127.0.0.1:6379 > CONFIG GET|SET CONFIG SETTING NAME 


详解 如 下 : 

CONFIG GET * ; 获取 Redis 服务 器 所 有 配置 信息 。 
CONFIG SET loglevel "notice": 设置 Redis 服务 器 日 志 级 别 。 
CONFIG SET requirepass "jfedu"; 配置 Redis 访问 密码 。 
AUTH jfedu: 登录 Redis, 执 行 AUTH jfedu。 

redis-cli -h host -p port -a password: 远程 连接 Redis 数据 库 。 
CLIENT GETNAME: 获取 连接 的 名 称 。 

CLIENT SETNAME: 设置 当前 连接 的 名 称 。 

CLUSTER SLOTS: 获取 集群 节点 的 映射 数组 。 
COMMAND: 获取 Redis 命令 详情 数组 。 

COMMAND COUNT: 获取 Redis 命令 总 数 。 

COMMAND GETKEYS: 获取 给 定 命令 的 所 有 键 。 

TIME: 返回 当前 服务 器 时 间 。 

CONFIG GET parameter: 获取 指定 配置 参数 的 值 。 

CONFIG SET parameter value: 修改 Redis 配置 参数 ,无 须 重启 。 
CONFIG RESETSTAT: 3E & INFO 命令 中 的 某 些 统计 数据 。 
DBSIZE: 返回 当前 数据 库 的 key 的 数量 。 

DEBUG OBJECT key; 获取 key 的 调试 信息 。 

DEBUG SEGFAULT; 让 Redis lt A fiis. 

FLUSHALL: 删除 所 有 数据 库 的 所 有 key. 

FLUSHDB, 删除 当前 数据 库 的 所 有 key. 

ROLE: 返回 主 从 实例 所 属 的 角色 。 
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SAVE: 异步 保存 数据 到 硬盘 。 

SHUTDOWN: 异步 保存 数据 到 硬盘 ,并 关闭 服务 器 。 

SLOWLOG: 管理 Redis 的 慢 日 志 。 

SET keys values: 设置 key 和 value。 

DEL jfedu: 删除 key 及 值 。 

INFO CPU; 查看 服务 器 CPU 占用 信息 。 

KEYS jfedu: 查看 是 存在 jfedu 的 key, 

KEYS * : 查看 Redis 所 有 的 key。 

CONFIG REWRITE: 启动 Redis 时 所 指定 的 redis. conf 配置 文件 进行 改写 。 
INFO [section]: 获取 Redis 服务 器 的 各 种 信息 和 统计 数值 。 

SYNC; 用 于 复制 功能 (replication) 的 内 部 命令 。 

SLAVEOF host port: 指定 服务 器 的 从 服务 器 (slave server). 
MONITOR, 实时 打印 出 Redis 服务 器 接收 到 的 命令 ,调试 用 。 
LASTSAVE: 返回 最 近 一 次 Redis 成 功 将 数据 保存 到 磁盘 上 的 时 间 。 
CLIENT PAUSEtimeout: 指定 时 间 内 终止 运行 来 自 客户 端的 命令 。 
BGREWRITEAOF: 异步 执行 一 个 AOF(append only file) 文 件 重 写 操作 。 
BGSAVE: 后 台 异 步 保 存 当 前 数据 库 的 数据 到 磁盘 。 


12.8 Redis 集群 主 从 实战 


为 了 提升 Redis 高 可 用 性 ,除了 Redis dump 数据 之 外 ,还 需要 配置 Redis 主 从 架构 ,可 
以 利用 主 从 架构 将 数据 库 持 久 化 (数据 持久 化 通俗 讲 就 是 把 数据 保存 到 磁盘 上 ,保证 不 会 因 
为 断 电 等 因素 丢失 数据 ) 。 

Redis 需要 经 常 将 内 存 中 的 数据 同步 到 磁盘 来 保证 持久 化 。Redis 支持 两 种 持久 化 方 
式 : 一 种 是 snapshotting( 快 照 ); 另 一 种 是 append only file(AOF) 的 方式 。 

Redis 主 从 复制 , 当 用 户 往 master 端 写 入 数据 时 ,通过 Redis sync 机 制 将 数据 文件 发 送 
至 slave,slave 也 会 执行 相同 的 操作 确保 数据 一 致 。 

Redis 主 从 配置 非常 简单 ,只 需要 在 Redis 从 库 192. 168. 149. 130 配置 中 设置 如 下 指 
令 ,slaveof 表示 指定 主 库 的 IP.192. 168. 149. 129 为 master 服务 器 ,6379 为 master 服务 器 
Redis 端口 ,配置 方法 如 下 : 

(1) 192. 168. 149. 129 Redis JẸ redis. conf 配置 文件 如 下 : 


DOO OD DO oDU0U00000000 D D 


daemonize no 

pidfile /var/run/redis. pid 
port 6379 

tcp- backlog 511 

timeout 0 

tcp- keepalive 0 
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loglevel notice 

logfile "" 

databases 16 

save 900 1 

save 300 10 

save 60 10000 

stop- writes - on - bgsave - error yes 
rdbcompression yes 

rdbchecksum yes 

dbfilename redis.rdb 

dir /data/redis/ 

slave- serve - stale- data yes 
slave- read - only yes 

repl- disable - tcp - nodelay no 
slave - priority 100 

appendonly no 

appendfilename "appendonly. aof" 
appendfsync everysec 

no - appendfsync - on - rewrite no 
auto - aof - rewrite - percentage 100 
auto - aof - rewrite - min- size 64MB 
lua- time - limit 5000 

slowlog - log - slower - than 10000 
slowlog - max - len 128 

latency - monitor - threshold 0 
notify - keyspace - events "" 

hash- max - ziplist - entries 512 
hash - max - ziplist - value 64 

list- max- ziplist - entries 512 
list - max- ziplist - value 64 

set- max- intset - entries 512 
zset- max- ziplist - entries 128 
zset- max- ziplist - value 64 

hll- sparse - max - bytes 3000 
activerehashing yes 

client - output - buffer - limit normal 0 0 0 
client - output — buffer - limit slave 256MB 64MB 60 
client - output - buffer - limit pubsub 32MB 8MB 60 
hz 10 


aof - rewrite - incremental - fsync yes 
(2) 192. 168. 149. 130 Redis 从 库 redis. conf 配置 文件 如 下 : 


daemonize no 
pidfile /var/run/redis. pid 
port 6379 
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slaveof 192.168.149.129 6379 
tcp- backlog 511 

timeout 0 

tcp- keepalive 0 

loglevel notice 

logfile 
databases 16 
save 900 1 
save 300 10 
save 60 10000 


stop - writes - on - bgsave - error yes 
rdbcompression yes 

rdbchecksum yes 

dbfilename redis.rdb 

dir /data/redis/ 

slave- serve - stale- data yes 
slave - read - only yes 

repl- disable - tcp - nodelay no 
slave - priority 100 

appendonly no 

appendfilename "appendonly. aof" 
appendfsync everysec 

no — appendfsync - on - rewrite no 
auto - aof - rewrite - percentage 100 
auto - aof - rewrite - min- size 64MB 
lua- time - limit 5000 

slowlog- log- slower - than 10000 
slowlog- max- len 128 

latency - monitor - threshold 0 
notify - keyspace - events "" 

hash- max - ziplist - entries 512 

hash - max - ziplist - value 64 

list- max- ziplist - entries 512 

list- max- ziplist- value 64 

set - max - intset - entries 512 

zset- max- ziplist- entries 128 

zset- max- ziplist - value 64 

hll- sparse - max - bytes 3000 

activerehashing yes 

client - output - buffer - limit normal 0 0 0 
client - output - buffer - limit slave 256MB 64MB 60 
client - output - buffer - limit pubsub 32MB 8MB 60 
hz 10 


aof - rewrite - incremental - fsync yes 
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(3) EJA Redis 主 库 、 从 库 服 务 ,在 Redis 主 库 创 建 key 及 values, 登 录 Redis MEEA. 
如 图 12-14 所 示 。 


set jf2 ww.jf2.com 


set jf3 ww.jf3.com 





(a) Redis 主 库 创 建 key 


-]# redis-cli 


get jf3 





(b) Redis 从 库 获 取 key 值 


图 12-14 Redis 主 库 、 从 库 服务 


12.9 Redis 数据 备份 与 恢复 


Redis 所 有 数据 都 是 保存 在 内 存 中 。Redis 数据 备份 可 以 定期 地 通过 异步 方式 保存 到 
磁盘 上 ,该 方式 称 为 半 持 久 化 模式 ,如果 每 一 次 数据 变化 都 写 入 AOF 文件 里 面 , 则 称 为 全 
持久 化 模式 。 同 时 还 可 以 基于 Redis 主 从 复制 实现 Redis 备份 与 恢复 


12.9.1 半 持 久 化 RDB 模式 


半 持 久 化 RDB 模式 也 是 Redis 备份 默认 方式 ,是 通过 快照 (snapshotting) 完 成 的 , 当 满 
足 在 redis. conf 配置 文件 中 设置 的 条 件 时 ,Redis 会 自动 将 内 存 中 的 所 有 数据 进行 快照 并 存 
储 在 硬盘 上 .完成 数据 备份 

Redis 进行 RDB 快照 的 条 件 由 用 户 在 配置 文件 中 自 定义 ,由 两 个 参数 构成 : 时 间 和 改 
pape 个 数 。 当 在 指定 的 时 间 内 被 更 改 的 键 的 个 数 大 于 指定 的 数值 时 就 会 进行 快照 。 在 

忆 置 文件 中 已 经 预 置 了 以 下 3 个 条 件 : 

a save 900 1; 900s 内 有 至 少 1 个 键 被 更 改 则 进行 快照 。 

a save 300 10: 300s 内 有 至 少 10 个 键 被 更 改 则 进行 快照 。 

a save 60 10000; 60s 内 有 至 少 10000 个 键 被 更 改 则 进行 快照 。 

默认 可 以 存在 多 个 条 件 , 条 件 之 间 是 或 的 关系 ,只 要 满足 其 中 一 个 条 件 ,就 会 进行 快照 。 
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如 果 想 禁用 自动 yet 只 需要 将 所 有 的 save 参数 删除 即 可 。Redis 默认 会 将 快照 文件 存储 
在 Redis 数据 目 HA CFA A dump. rdb 文件 ,可 以 通过 配置 dir 和 dbfilename 两 个 参 
数 分 别 指定 快照 文件 的 存储 路 径 和 文件 名 。 也 可 以 在 Redis 命令 行 执行 config get dir 获取 
Redis 数据 保存 路 径 , 如 图 12-15 所 示 。 








config get dir 





(a) 获取 Redis 数 据 目录 


j t-129 ~]# ps -ef |grep redis 

1381 1124 0 09:28 pts/0 00:00:00 /usr/local/redis/bin/r 

1393 1124 0 09:28 pts/0 00:00:00 grep redis 

sq: net- -129 ~]# 
fedi ~]# cd /data/redis/ 

j redis) 

-jfedu-net-129 redis]? 1s 


v-jfedu-net-129 redis]# 
-jfedu-net-129 redis]? 11 


~ 1 root root 18 Jun 10 09:28 dump.rdb 
[rootéww- jfedu-net-129 redis]# 





(b) Redis 数 据 目 录 及 dump.rdb 文 件 
图 12-15 Redis 数据 目录 


Redi 
程 ) , 父 进 
的 临时 文件 ， 
照 操 作 完 成 

执行 fork 时 操作 系统 会 使 用 写 时 复制 (copy-on-write) 策 略 , 即 fork 函数 发 生 的 一 刻 父 
子 进程 共享 同一 内 存 数据 , 当 父 进 程 要 更 改 其 中 某 片 数据 时 ,操作 系统 会 将 该 片 数 据 复制 一 
份 以 保证 子 进程 的 数据 不 受 影响 ,所 以 新 的 RDB 文件 存储 的 是 执行 fork 那 一 刻 的 内 存 
数据 。 

Redis 在 进行 快照 的 过 程 中 不 会 修改 RDB 文件 ,只 有 快照 结束 后 才 会 将 旧 的 Xf 
成 新 的 ,也 就 是 说 任何 时 候 RDB 文件 都 是 完整 的 。 这 使 得 用 户 可 以 通过 定时 备份 RDB X 
件 来 实现 Redis 数据 库 备 份 

RDB 文件 是 经 过 压缩 (可 以 配置 rdbcompression 参数 以 禁 vig 3 in CPU 占用 ) 的 二 

进 制 格式 ,所 以 占用 的 空间 会 小 于 内 存 中 的 数据 大 小 ,更 加 利于 传输 。 除 了 自动 快照 ,还 可 
以 手动 发 送 save 和 bgsave 命令 让 Redis 执行 快照 ,两 个 命令 的 区 别 ie 于 ,前 者 是 由 主 进 程 





现 快照 的 过 程 ,Redis 使 用 fork 函数 复制 一 份 当前 进程 ( 父 进 程 ) 的 副本 ( 子 进 
卖 接收 并 处 理 客户 端 发 来 的 命令 ,而 子 进程 开始 将 内 存 中 的 数据 写 人 硬盘 中 
和 子 进程 写 和 人 完 所 有 数据 后 会 用 该 临时 文件 替换 旧 的 RDB 文件 ,至 此 一 次 快 















e 
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进行 快照 操作 ,会 阻塞 住 其 他 请 求 ,后 者 会 通过 fork 子 进程 进行 快照 操作 。 

Redis 启动 后 会 读 取 RDB 快照 文件 ,将 数据 从 硬盘 载 入 到 内 存 , 根 据 数据 量 大 小 、 结 构 
和 服务 器 性 能 不 同 , 通 常 将 记录 一 千 万 个 字符 串 类 型 键 、 大 小 为 1GB 的 快照 文件 载 和 到 内 
存 中 需 花 费 20—30s, 

通过 RDB 方式 实现 持久 化 ,一 旦 Redis 异常 退出 .就 会 丢失 最 后 一 次 快照 以 后 更 改 的 
所 有 数据 。 此 时 需要 开发 者 根据 具体 的 应 用 场合 ,通过 组 合 设置 自动 快照 条 件 的 方式 来 将 
可 能 发 生 的 数据 损失 控制 在 能 够 接受 的 范围 内 。 


12.9.2 全 持久 化 AOF 模式 


如 果 数 据 很 重要 无 法 承受 任何 损失 ,可 以 考虑 使 用 AOF 方式 进行 持久 化 ,默认 Redis 
没有 开启 AOF 方式 的 全 持久 化 模式 。 

在 启动 时 Redis 会 逐个 执行 AOF 文件 中 的 命令 来 将 硬盘 中 的 数据 载 人 到 内 存 中 , 载 入 
的 速度 相 较 RDB 会 慢 一 些 , 开 启 AOF 持久 化 后 每 执行 一 条 会 更 改 Redis 中 的 数据 的 命令 ， 
Redis 就 会 将 该 命令 写 人 硬盘 中 的 AOF 文件 。AOF 文件 的 保存 位 置 和 RDB 文件 的 位 置 
相同 ,都 是 通过 dir 参数 设置 的 ,默认 的 文件 名 为 appendonly. aof ,可 以 通过 appendfilename 
参数 修改 该 名 称 。 

Redis 允许 同时 开启 AOF 和 RDB, 既 保证 了 数据 安全 又 使 得 进行 备份 等 操作 十 分 容 
易 。 此 时 重新 启动 Redis 后 Redis 会 使 用 AOF 文件 来 恢复 数据 ,因为 AOF 方式 的 持久 化 
可 能 丢失 的 数据 更 少 , 可 以 在 redis. conf 中 通过 appendonly 参数 开启 Redis AOF 全 持久 化 
模式 ,代码 如 下 : 

appendonly yes 

appendfilename appendonly. aof 

auto- aof - rewrite - percentage 100 

auto - aof ~ rewrite - min — size 64MB 

appendfsync always 

# append£sync everysec 

# appendfsync no 

Redis AOF 持久 化 参数 配置 详解 如 下 : 

Q appendonly yes: 开启 AOF 持久 化 功能 。 
appendfilename appendonly. aof; AOF 持久 化 保存 文件 名 。 
appendfsync always: 每 次 执行 写 人 都 会 执行 同步 ,最 安全 也 最 慢 。 
# appendfsync everysec: 每 秒 执行 一 次 同步 操作 。 
# appendfsync no; 不 主动 进行 同步 操作 ,而 是 完全 交 由 操作 系统 来 做 ,每 30s 一 次 ， 
最 快 也 最 不 安全 。 
auto-aof-rewrite-percentage 100; 当 AOF 文件 大 小 超过 上 一 次 重 写 时 的 AOF 文件 
大 小 的 百 分 之 多 少时 会 再 次 进行 重 写 ,如 果 之 前 没有 重 写 过 , 则 以 启动 时 的 AOF X: 
件 大 小 为 依据 。 


a 
a 
a 
a 
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a auto-aof-rewrite-min-size 64MB: 人 允许 重 写 的 最 小 AOF 文件 大 小 配置 写 入 AOF X 
件 后 ,要 求 系统 刷新 硬盘 缓存 的 机 制 。 


12.9.3 Redis 主 从 复制 备份 


通过 持久 化 功能 ,Redis 保证 了 即使 在 服务 器 重启 的 情况 下 也 不 会 损失 (或 少量 损失 ) 
数据 。 但 是 由 于 数据 是 存储 在 一 台 服 务 器 上 的 ,如 果 这 人 台 服 务 器 的 硬盘 出 现 故障 ,也 会 导致 
数据 丢失 。 

为 了 避免 单 点 故障 ,希望 将 数据 库 复制 多 个 副本 以 部 署 在 不 同 的 服务 器 上 ,即使 有 一 台 
服务 器 出 现 故 障 其 他 服务 器 依然 可 以 继续 提供 服务 ,这 就 要 求 当 一 台 服 务 器 上 的 数据 库 更 
新 后 ,可 以 自动 将 更 新 的 数据 同步 到 其 他 服务 器 上 ,Redis 提供 了 复制 (replication) 功 能 可 
以 自动 实现 同步 的 过 程 。 通 过 配置 文件 在 Redis 从 数据 库 中 配置 文件 中 加 入 slaveof 
master-ip master-port 即 可 , 主 数据 库 无 须 配 置 。 

Redis 主 从 复制 优点 及 应 用 场景 , Web 应 用 程序 可 以 基于 主 从 同步 实现 读 写 分 离 以 提 
高 服务 器 的 负载 能 力 。 在 常见 的 场景 中 , 读 的 频率 一 般 比较 大 , 当 单 机 Redis 无 法 应 付 大 量 
的 读 请 求 时 ,可 以 通过 复制 功能 建立 多 个 从 数据 库 , 主 数据 库 只 进行 写 操 作 , 而 从 数据 库 负 
责 读 操作 ,还 可 以 基于 LVS 十 keepalived 对 Redis 实现 均衡 和 高 可 用 。 

从 数据 库 持久 化 通常 相对 比较 耗 时 ,为 了 提高 性 能 ,可 以 通过 复制 功能 建立 一 个 (或 若 
干 个 ) 从 数据 库 , 并 在 从 数据 库 中 启用 持久 化 ,同时 在 主 数据 库 禁用 持久 化 。 

当 从 数据 库 崩 溃 时 重启 后 主 数据 库 会 自动 将 数据 同步 过 来 ,所 以 无 须 担心 数据 丢失 。 
而 当主 数据 库 骨 省 时 ,需要 在 从 数据 库 中 使 用 slaveof no one 命令 将 从 数据 库 提升 成 主 数据 
库 继续 服务 ,并 在 原来 的 主 数据 库 启 动 后 使 用 slaveof 命令 将 其 设置 成 新 的 主 数据 库 的 从 数 
据 库 , 即 可 将 数据 同步 回来 。 


12.10 LAMP 企业 架构 读 写 分 离 


LAMP 十 Discuz 十 Redis 缓解 了 MySQL 的 部 分 压力 ,但 是 如 果 访 问 量 非常 大 ,Redis 组 
存 中 第 一 次 没有 缓存 数据 ,会 导致 MySQL 数据 库 压 力 增 大 ,此 时 可 以 基于 分 库 、. 分 表 、 分 布 
式 集群 或 者 读 写 分 离 来 分 担 MySQL 数据 库 的 压力 ,以 读 写 分 离 为 案例 ,来 实现 分 担 
MySQL 数据 库 的 压力 。 

MySQL 读 写 分 离 的 原理 : 让 master 数据 库 处 理事 务 增加 .删除 .修改 .更 新 操作 
(create insert, update, delete) ,而 让 slave 数据 库 处 理 select 操作 .MySQL 读 写 分 离 前 提 是 
基于 MySQL 主 从 复制 ,这 样 可 以 保证 在 master 上 修改 数据 ,slave 同步 之 后 , Web 应 用 可 
以 读 取 到 slave 端的 数据 。 

实现 MySQL 读 写 分 离 可 以 基于 第 三 方 插件 :也 可 以 通过 开发 修改 代码 实现 ,具体 实现 
读 写 分 离 的 常见 方式 有 以 下 4 种 : 

a MySQL proxy 读 写 分 离 ; 
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Q Amoeba 读 写 分 离 ; 

a Mycat 读 写 分 离 ; 

a 基于 程序 读 写 分 离 (效率 很 高 ,但 实施 难度 大 , 需 开 发 改 代码 ) 。 

Amoeba 是 以 MySQL 为 底层 数据 存储 ,并 对 Web, App 应 用 提供 MySQL 协议 接口 的 
proxy。 它 集中 地 响应 Web 应 用 的 请 求 , 依 据 用 户 事先 设置 的 规则 ,将 SQL 请 求 发 送 到 特 
定 的 数据 库 上 执行 ,基于 此 可 以 实现 负载 均衡 . 读 写 分 离 .高 可 用 性 等 需求 。 

Amoeba 相当 于 一 个 SQL 请 求 的 路 由 器 ,目的 是 为 负载 均衡 . 读 写 分 离 .高 可 用 性 提供 
机 制 ,而 不 是 完全 实现 它们 。 用 户 需 要 结合 使 用 MySQL 的 replication 等 机 制 来 实现 副本 

MySQL proxy 是 MySQL 官方 提供 的 MySQL 中 间 件 服务 ,支持 无 数 客户 端 连接 , 同 
时 后 端 可 连接 若干 台 MySQL server 服务 器 ,MySQL proxy 自身 基于 MySQL 协议 ,连接 
MySQL proxy 的 客户 端 无 须 修改 任何 设置 , 跟 正 常 连接 MySQL server 没有 区 别 ,无 须 修 
改 程序 代码 。 

MySQL proxy 是 App 应 用 (客户 端 ) 与 MySQL server 之 间 的 一 个 连接 代理 ,MySQL 
proxy 负责 将 App 应 用 的 SQL 请 求 根据 转发 规则 ,转发 至 相应 的 后 端 数据 库 , 基 于 LUA 
脚本 ,可 以 实现 复杂 的 连接 控制 和 过 滤 , 从 而 实现 数据 读 写 分 离 和 负载 均衡 的 需求 。 

MySQL proxy 允许 用 户 指定 LUA 脚本 对 SQL 请 求 进行 拦截 ,对 请 求 进行 分 析 与 修 
改 , 还 允许 用 户 指 定 LUA 脚本 对 服务 器 的 返回 结果 进行 修改 ,加 入 一 些 结果 集 或 者 去 除 一 
些 结果 集 ,对 SQL 的 请 求 通常 为 读 请 求 . 写 请 求 , 基 于 LUA 脚本 ,可 以 实现 将 SQL 读 请 求 
转发 至 后 端 slave 服务 器 ,将 SQL 写 请 求 转发 至 后 端 master 服务 器 。 

如 图 12-16 所 示 , 为 MySQL proxy 读 写 分 离 架 构图 ,通过 架构 图 可 以 清晰 地 看 到 SQL 
请 求 整个 流向 的 过 程 。 









client master 


client slave 








图 12-16 MySQL proxy 读 写 分 离 流程 


MySQL proxy 读 写 分 离 架构 实战 配置 ,如 图 12-17 所 示 ,两 台 Web 通过 MySQL proxy 
连接 后 端 1. 14 和 1. 15 MySQL 服务 器 。 

构建 MySQL 读 写 分 离 架 构 首 先 需 要 将 两 台 MySQL 服务 器 配置 为 主 从 复制 (前文 已 
HES) ,此 处 省 略 配置 ) ,配置 完毕 后 ,在 192. 168. 1. 16 服务 器 上 安装 MySQL proxy 服务 即 
可 ,配置 步骤 如 下 : 

(OD FÆ MySQL proxy 软件 版 本 ,解压 并 重 命名 至 /usr/local/mysqLproxy, 命令 
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g g 


Web-2 


MySQL proxy 
192.168.1.16 








192.168.1.14 192.168.1.15 
write read 


图 12-17 MySQL proxy 实施 架构 图 


如 下 : 


wget http: //£tp. ntu. edu. tw/pub/MySQL/Downloads/MySQL - Proxy/mysql - proxy - 0.8.4 — linux — 
el6 - x86 — 64bit. tar. gz 

useradd - r nysql- proxy 

tar zxvf nysql- proxy - 0.8.4 - linux- el6 - x86 - 64bit. tar.gz - C /usr/local 

nv /usr/local/mysql - proxy - 0.8.4 - linux - el6 - x86 - 64bit /usr/local/mysql- proxy 


(2) 在 环境 变量 配置 文件 /etc/profile 中 加 入 如 下 代码 保存 退出 ,然后 执行 source /etc/ 


profile 使 配置 生效 即 可 ,命令 如 下 : 


export PATH = $PATH:/usr/local/mysql- proxy/bin/ 
(3) 启动 MySQL proxy 中 间 件 ,命令 如 下 : 


mysql - proxy —— daemon -- log- level = debug -- user = mysql - proxy —- keepalive 
-- log- file = /var/log/mysql- proxy. log -- plugins = "proxy" 

—- proxy - backend - addresses = "192.168.1.14:3306" 

~~ proxy - read - only- backend - addresses = "192. 168.1. 15:3306" 

—- proxy - lua - script = "/usr/local/mysql - proxy/share/doc/mysql - proxy/rw - splitting. lua" 
—- plugins = admin -- admin - username = "admin" —- admin - password = "admin" 

—- admin- lua - script = "/usr/local/mysql - proxy/lib/mysql - proxy/lua/admin. lua" 

(4) MySQL proxy 的 相关 参数 详解 如 下 : 

a --help-all; 获取 全 部 帮助 信息 。 

--proxy-address — host:port; 代理 服务 监听 的 地 址 和 端口 ,默认 为 4040, 
--admin-address=host:port: 管理 模块 监听 的 地 址 和 端口 ,默认 为 4041 。 
--proxy-backend-addresses — host: port: 后 端 MySQL 服务 器 的 地 址 和 端口 。 
--proxy-read-only-backend-addresses— host: port: 后 端 只 读 MySQL 服务 器 的 地 址 
和 端口 。 
--proxy-lua-script —file name: 完成 MySQL 代理 功能 的 LUA 脚本 。 
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--daemon: 以 守护 进程 模式 启动 MySQL proxy. 

--keepalive: 在 MySQL proxy HWT ŽW EJA 。 

--log-file— /path/to/log file name: 日 志文 件 名 称 。 

--log-level=level: 日 志 级 别 。 

--log-use-syslog: 基于 syslog 记录 日 志 。 

--plugins— plugin: 在 MySQL proxy 启动 时 加 载 的 插件 。 

--user— user name: 运行 MySQL proxy 进程 的 用 户 。 

--defaults-file— /path/to/conf file name: 默认 使 用 的 配置 文件 路 径 , 其 配置 段 使 用 
[mysql-proxy] 标 识 。 

a --proxy-skip-profiling; 禁用 profile, 

q --pid-file— /path/to/pid file name; 进程 文件 名 。 

(5) MySQL proxy 启动 后 ,在 服务 器 端 查看 端口 ,其 中 4040 为 proxy 代理 端口 用 于 
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LISTEN 2520/my 


E LISTEN 2520/my 
'sq) -prox 
[rootelotalhost -J# 


图 12-18 MySQL proxy 启动 端口 
(6) 基于 4041 端口 MySQL proxy 查看 读 写 分 离 状 态 ,登录 4041 管理 端口 ,命令 如 下 : 
mysql - h192.168.1.16 - uadmin - p - P 4041 


CT) 以 4041 管理 口 登录 ,然后 执行 select 命令 ,命令 如 下 ,如 图 12-19 所 示 state 均 为 
up 状态 ,type 类 型 为 rw ro, 则 证 明 读 写 分 离 状 态 成 功 。 如 果 状 态 为 unknown 未知 状 态 ， 
以 4040 端口 登录 执行 “show databases; ”命令 ,直到 state WIR up 状态 为 止 。 


select * from backends; 





图 12-19 MySQL proxy 读 写 分 离 状态 


(8) 读 写 分 离 数 据 测试 ,以 3306 端口 登录 到 从 库 ,进行 数据 写 和 信和 测试 ,在 从 库 上 创建 
jfedu test 测试 库 ,并 写 和 内容 ,如 图 12-20 所 示 。 

(9) 读 写 分 离 数 据 测 试 ,以 4040 代理 端口 登录 ,执行 如 下 命令 ,可 以 查看 到 数据 即 证 明 
读 写 分 离 成 功 。 
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mysql —h192.168.1.16 -uroot - pl23456 - P4040 - e "select * from jfedu test.tl; " 
(10) 登录 Apache Web 服务 器 ,修改 Discuz PHP 网 站 


目录 ,全 局 配置 文件 config global. php ,查找 dbhost 段 ,将 192. 168. 1. 16 改 成 192. 168. 1. 
16 :4040, 如 图 12-21 所 示 





fi / usr/local/apache2/htdcos 


= array 
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企业 服务 器 对 用 户 提供 服务 ,作为 运 维 工程 师 最 重要 的 责任 就 是 保证 该 网 站 正常 稳定 
的 运行 ,需要 实时 监控 网 站 .服务 器 的 运行 状态 ,并且 出 现 故障 及 时 处 理 。 

监控 网 站 无 须 人 工时 刻 去 访问 Web 网 站 或 者 登录 服务 器 去 检查 ,可 以 借助 开源 监控 软 
件 , 例 如 Zabbix,Cacti, Nagios,Ganglia 等 来 实现 对 网 站 的 7X24 小 时 的 监控 ,并 且 做 到 有 
故障 及 时 报警 通知 SA 解决 。 

本 章 向 读者 介绍 企业 级 分 布 式 监控 Zabbix 入 门 .Zabbix 监控 原理 ,最 新 版 本 Zabbix 安 
装 实 战 、Zabbix 批量 监控 客户 端 ,监控 MySQL Web 关键 词 及 微 信 报警 等 内 容 。 


13.1 


Zabbix 监控 系统 入 门 简介 


Zabbix 是 一 个 基于 Web 界面 的 提供 分 布 式 系 统 监控 的 企业 级 开源 解决 方案 ,Zabbix 
能 监视 各 种 网 络 参数 ,保证 服务 器 系统 安全 稳定 地 运行 ,并 提供 灵活 的 通知 机 制 以 让 SA De 
速 定位 并 解决 存在 的 各 种 问题 。Zabbix 分 布 式 监控 系统 的 优点 如 下 : 
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支持 自动 发 现 服务 器 和 网 络 设备 ; 

支持 底层 自动 发 现 ; 

分 布 式 的 监控 体系 和 集中 式 的 Web 管理 ; 

支持 主动 监控 和 被 动 监控 模式 ，; 

服务 器 端 支持 多 种 操作 系统 : Linux. Solaris. HP-UX, AIX, FreeBSD. OpenBSD, 
MAC 等 ; 

agent 客户 端 支持 多 种 操作 系统 ,如 Linux. Solaris. HP-UX. AIX. FreeBSD. 
Windows 等 ; 

基于 SNMP IPMI 接口 .Zabbix Agent 方式 监控 客户 端 ; 

安全 的 用 户 认证 及 权限 配置 ; 

基于 Web 的 管理 方法 ,支持 自由 的 自 定义 事件 和 邮件 发 送 ; 

高 水 平 的 业务 视图 监控 资源 ,支持 日 志 审 计 、 资 产 管理 等 功能 ; 

支持 高 水 平 API 二 次 开发 .脚本 监控 、 自 key 定义 、 自 动 化 运 维 整 合 调用 。 
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13.2 Zabbix 监控 组 件 及 流程 


Zabbix 监控 组 件 如 图 13-1 Bros. 主要 由 三 大 部 分 组 成 : Zabbix server 端 、Zabbix 
proxy agent 客户 端 ,其 中 Zabbix server 端 包 括 Web GUI, database, Zabbix server, 


Zabbix Web GUI 


Zabbix database 
ICMP/IPMI/SNMP: devices 












! Zabbix RES 1 
L PS Nos Web pages 
ICMP/IPMI/SNMP: devices 
agent: OS 














图 13-1 Zabbix 监控 组 件 
Zabbix 监控 系统 的 具体 流程 如 图 13-2 Bron 。 
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图 13-2 Zabbix 监控 流程 图 
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Zabbix 监控 完整 流程 : Agent 安装 在 被 监控 的 主机 上 ,Agent 负责 定期 收集 客户 端 本 
地 各 项 数据 ,并 发 送 到 Zabbix server žy. Zabbix server 收 到 数据 ,将 数据 存储 到 数据 库 中 ， 
户 基于 Zabbix Web 可 以 看 到 数据 在 前 端 展现 的 图 像 。 

当 Zabbix 监控 某 个 具体 项 目 时 ,该 项 目 会 设置 一 个 触发 器 阀 值 , 当 被 监控 的 指标 超过 
该 触发 器 设 定 的 阀 值 ,会 进行 一 些 必要 的 动作 ,动作 包括 邮件 、 微 信 报 警 或 者 执行 命令 等 操 
fE. Zabbix 完整 监控 系统 各 个 部 分 负责 的 工作 如 下 : 

a Zabbix server: 负责 接收 agent 发 送 的 报告 信息 的 核心 组 件 ,所 有 配置 .统计 数据 及 
操作 数据 均 由 其 组 织 进行 。 
a database storage; 专用 于 存储 所 有 配置 信息 以 及 存储 由 Zabbix 收集 到 的 数据 。 
Web interface; Zabbix 的 GUI 接口 ,通常 与 server 运行 在 同一 台 主 机 上 。 
a proxy: 常用 于 分 布 监控 环境 中 ,代理 server 收集 部 分 被 监控 端的 监控 数据 并 统一 发 

















D 


{E server 端 。 
a Zabbix agent: 部 署 在 被 监控 主机 上 ,负责 收集 本 地 数据 并 发 往 server 端 或 
proxy 端 。 


Zabbix 监控 部 署 在 系统 中 ,通常 会 包含 5 个 常见 的 程序 : zabbix server,zabbix get, 
zabbix agentd,zabbix proxy,zabbix sender. 5 个 程序 启动 后 分 别 对 应 5 个 进程 ,每 个 进程 
的 功能 如 下 : 

a zabbix server: Zabbix 服务 端 守护 进程 ,其 中 zabbix agentd,zabbix get, zabbix_ 

sender,zabbix proxy 的 数据 最 终 均 是 提交 给 zabbix_server。 

a zabbix_agentd: 客户 端 守护 进程 ,负责 收集 客户 端 数据 ,例如 收集 CPU 负载 ,内存 、 
硬盘 使 用 情况 等 。 

a zabbix_get: Zabbix 数据 获取 工具 ,单独 使 用 的 命令 ,通常 在 server 或 者 proxy 端 执 
行 获取 远程 客户 端 信息 的 命令 。 

a zabbix_sender: Zabbix 数据 发 送 工 具 , 用 于 发 送 数据 给 server 或 者 proxy, 通 常用 于 
耗 时 比较 长 的 检查 ,很 多 检查 非常 耗 时 间 ,导致 Zabbix 超时 ,于 是 需要 在 脚本 执行 完 
毕 之 后 ,使 用 sender 主动 提交 数据 。 

a zabbix proxy: Zabbix 分 布 式 代理 守护 进程 ,分 布 式 监控 架构 需要 部 署 zabbix_ 


proxy. 


13.3 Zabbix 监控 方式 及 数据 采集 


Zabbix 分 布 式 监控 系统 监控 客户 端的 方式 常见 有 3 种 : agent 方式 .SNMP 方式 IPMI 
方式 ,3 种 方式 特点 如 下 : 
a agent; Zabbix 可 以 基于 自身 zabbix_agent 客户 端 插件 监控 OS 的 状态 ,例如 CPU, 
内 存 、 硬 盘 、 网 卡 、 文 件 等 。 
a SNMP: Zabbix 可 以 通过 简单 网 络 管理 协议 (simple network management protocol. 


190 <| 曝光 : Linux 企 业 运 维 实战 
SNMP) 协 议 监控 网 络 设备 或 者 Windows 主机 等 ,通过 设 定 SNMP 的 参数 将 相关 监 
控 数 据 传送 至 服务 器 端 , 交 换 机 、 防 火 墙 等 网 络 设备 一 般 都 支持 SNMP 协议 。 
a IPMI: 智能 平台 管理 接口 (intelligent platform management interface. IPMD B 3: # 
应 用 于 设备 的 物理 特性 ,包括 温度 .电压 .电扇 工作 状态 .电源 供应 以 及 机 箱 入 侵 等 。 
IPMI 最 大 的 优势 在 于 无 论 OS 在 开机 还 是 关机 的 状态 下 ,只 要 接 通电 源 就 可 以 实现 
对 服务 器 的 监控 。 
Zabbix 监控 客户 端 分 为 主动 监控 与 被 动 监控 , 主 被 动 模式 以 客户 端 为 参照 ,Zabbix W 
控 客户 端 默 认为 被 动 模式 ,可 以 修改 为 主动 模式 ,只 需要 在 客户 端 配置 文件 中 添加 即 可 。 关 
闭 被 动 模式 的 方法 为 在 配置 文件 中 加 入 StartAgents 王 0, 即 为 关闭 被 动 模式 。 主 被 动 监控 
模式 区 别 如 下 : 
a Zabbix 主动 模式 : agent 主动 请 求 server 获取 主动 的 监控 项 列表 ,并 主动 将 监控 项 
内 需要 检测 的 数据 提交 给 server 或 者 proxy,Zabbix agent 首先 向 server active 配置 
的 IP 请 求 获 取 active items, 获 取 后 将 active tiems 数据 值 提 交 给 server 或 者 proxy. 
a Zabbix 被 动 模式 : server 向 agent 请 求 获取 监控 项 的 数据 ,agent 返回 数据 ,server 
打开 一 个 TCP 连接 ,server 发 送 请 求 agent. ping. agent 接收 到 请 求 并 且 响 应 ,server 
处 理 接收 到 的 数据 。 


13.4 Zabbix 监控 概念 


Zabbix 监控 系统 包括 很 多 监控 概念 ,掌握 Zabbix 监控 概念 有 助 于 对 Zabbix 监控 系统 
快速 地 理解 ,Zabbix 常用 术语 及 解释 如 下 : 

a 主机 (host): 被 监控 的 网 络 设备 ,可 以 写 IP 或 者 DNS。 

a 主机 组 (host group): 主机 组 用 于 管理 主机 ,可 以 批量 设置 权限 。 
监控 项 (item): 具体 监控 项 ,items 值 有 独立 的 keys 进行 识别 。 
触发 器 (trigger) : 为 某 个 items 设置 触发 器 ,达到 触发 器 会 执行 action 动作 。 
事件 (event) : 例如 达到 某 个 触发 器 , 称 之 为 一 个 事件 。 
动作 (action) : 对 于 特定 事件 事先 定义 的 处 理 方法 ,默认 可 以 发 送信 息 及 发 送 命令 。 
报警 升级 (escalation) : 发 送 警报 或 执行 远程 命令 的 自 定 义 方案 ,如 隔 5min 发 送 一 
次 警报 , 共 发 送 5 次 等 。 
WE fF (media): 发 送 通知 的 方式 .可 以 支持 mail, SMS, scripts 等 。 
通知 Cnotification) ; 通过 设置 的 媒介 向 用 户 发 送 的 有 关 某 事件 的 信息 。 
远程 命令 (remote command) ; 达到 触发 器 ,可 以 在 被 监控 端 执行 命令 。 
模板 (template): 可 以 快速 监控 被 监控 端 ,模块 包含 item, trigger, graph, screen, 
application。 
Web 场景 (Web scennario) : 用 于 检测 Web 站 点 可 用 性 ,监控 HTTP 关键 词 。 
Web 前 端 (frontend) : Zabbix 的 Web 接口 。 
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a 图 形 (graph) : 监控 图 像 。 
a 屏幕 (screens): 屏幕 显示 。 
a 幻灯 (slide show) : 幻灯 显示 。 


13.5 Zabbix 监控 平台 部 署 


Zabbix 监控 平台 部 署 ,至少 需要 安装 4 个 组 件 : Zabbix Server, Zabbix Web, 
databases,Zabbix Agent, 以 下 为 Zabbix 监控 平台 安装 配置 详细 步 又: 

(1) 系统 环境 。 

Q server "ij; 192. 168. 149. 128。 

a agent 端 : 192. 168. 149.129. 

(2) 下 载 Zabbix 版 本 ,各 个 版 本 之 间 安 装 方法 相差 不 大 ,可 以 根据 实际 情况 选择 安装 
版 本 ,本 文安 装 版 本 为 zabbix-3. 2. 6. tar. gz。 


wget http://sourceforge. net/projects/zabbix/files/ZABBIX % 20Latest % 20Stable/3. 2. 6/zabbix 
— 3.2.6. tar. gz/download 


(3) Zabbix Server 端 和 Zabbix Agent 执行 如 下 代码 : 


yum - y install curl curl- devel net - snmp net — snmp - devel perl- DBI 
groupadd zabbix ; useradd - g zabbix zabbix; usermod - s /sbin/nologin zabbix 


(4) Zabbix Server 端 配置 。 
创建 Zabbix 数据 库 ,执行 授权 命令 如 下 : 


create database zabbix charset = utf8; 
grant all on zabbix. * to zabbix@localhost identified by '123456'; 
flush privileges; 


解压 Zabbix 软件 包 并 将 Zabbix 基础 SQL 文件 导入 数据 至 Zabbix 数据 库 ,代码 如 下 : 


tar zxvf zabbix- 3.2.6. tar. gz 

cd zabbix - 3.2.6 

mysql - uzabbix - p123456 zabbix <database/mysql/schema. sql 
mysql — uzabbix — p123456 zabbix < database/mysql/ images. sql 
mysql - uzabbix - p123456 zabbix < database/mysql/data. sql 


切换 至 Zabbix 解压 目录 ,执行 如 下 代码 ,安装 Zabbix Server. 


./configure -- prefix = /usr/local/zabbix/ -- enable - server -- enable - agent -- with 一 
mysql -- enable- ipv6 -- with- net- snmp —- with- libcurl 

make 

make install 

1n -— s /usr/local/zabbix/sbin/zabbix * /usr/local/sbin/ 
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Zabbix Server 安装 完毕 ,cd /usr/local/zabbix/etc/ 目录 ,如 图 13-3 所 示 。 





图 13-3 Zabbix 监控 流程 图 


备份 Zabbix Server 配置 文件 ,代码 如 下 : 
cp zabbix server.conf zabbix server.conf.bak 
TE zabbix server. conf 配置 文件 中 设置 代码 如 下 : 


LogF ile = /tmp/zabbix_server. log 
DBHost = localhost 

DBName = zabbix 

DBUser = zabbix 

DBPassword = 123456 


同时 cp zabbix server 启动 脚本 至 /etc/init. d/ 目录 ,启动 zabbix server. zabbix server 
默认 监听 端口 为 10051, 代 码 如 下 : 

cd zabbix - 3.2.6 

cp nisc/init.d/tru64/zabbix server /etc/init.d/zabbix server 

chnod o * x /etc/init.d/zabbix server 

配置 Zabbix interface Web 页 面 ,安装 HTTP Web 服务 器 ,将 Zabbix Web 代码 发 布 至 
Apache 默认 发 布 目 录 ,PHP 版 本 需要 使 用 PHP 5. 4. 0 以 上 版 本 ,PHP 5. 3 升级 至 PHP 5.6 
的 步骤 ,代码 如 下 : 





rpm - Uvh http://repo. webtatic. com/yum/el6/latest. rpm 

yum remove php * 

yum install php56w.x86 64 php56w — cli. x86_64 php56w- common. x86_64 php56w- gd.x86 64 php56w 
- ldap.x86 64 php56w- mbstring. x86 64 php56w — ncrypt.x86 64 php56w- mysql. x86_64 php56w — 
pdo.x86 64 - y 

yum install httpd httpd- devel httpd- tools - y 

cp - a /root/zabbix - 3. 2.6/frontends/php/ x /var/www/htnl/ 

sed - i '/date.timezone/i date.timezone = PRC' /etc/php. ini 


重新 启动 Zabbix Server, HTTP, MySQL 服务 .代码 如 下 : 


/etc/init.d/zabbix server restart 
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/etc/init. d/httpd restart 

/etc/init. d/mysqld restart 

(5) Zabbix Web GUI 安装 配置 。 

通过 浏览 器 Zabbix Web 验证 ,浏览 器 访问 http://192. 168. 149. 128/ ,如 图 13-4 所 示 。 


ZABBIX 


Welcome 

Check of pre-requisites 

Configure DB connection 

Zabbix server details. Welcome to 


== Zabbix 3.2 


单 击 “下 一 步 " 按 钮 ,出 现 如 图 13-5 所 示 的 界面 ,如 果 有 错误 提示 ,需要 把 错误 依次 解决 
完 , 方 可 进行 下 一 步 操作 。 


ZABBIX Check of pre-requisites 

Welcome 

Check of pre-requisites 

Configure DB connection 

Zabbix server details Current value Required 

Pretnstafiation summary PHP version 5630 540 ok 

PHP option "memory. limif- 128M 128M ok 
PHP option "post. max. size" SM 16M Fail 
PHP option "upload, max flesize" 2M 2M ok 
PHP option "max. execution time" 3000000 300 ok 
PHP option “max_input_time” 60 300 Fail 


13-5 Zabbix Web 安装 错误 提示 


上 述 异 常 错误 解决 方法 的 代码 如 下 .安装 缺失 的 软 包 , 并 修改 php. ini 对 应 参数 的 值 即 
可 ,如 图 13-6 所 示 。 


yun install php56w - mbstring php56w — bcmath php56w — gd php56w — xml —y 

yum install gd gd - devel - y 

sed - i '/post max size/s/8/16/g;/max execution time/s/30/300/g;/max input time/s/60/300/ 
g;s/\;date. timezone. * /date. timezone V = PRC/g;s/A;always populate raw post data/always | 
populate raw post data/g' /etc/php. ini 

/etc/ init. d/httpd restart 
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ZABBIX Check of pre-requisites 


Cumentvalue Required 
Welcome 


PHP version 5630 540 oK 

Check of pre-requisites PHP option "memory. limit” umm mem E 

Configure DB connection 

Zabbix server details. PHP option "posl max. size" 16M 16M OK 

Pre-installation summary PHP option "upload max filesize* 2M 2M OK 

install PHP option "max. execution time" 30000000 300 ok 
PHP option "max_input_time" 300 300 ok 
PHP option "date timezone” PRC OK 
PHP databases support MySQL ok 
PHP bemath on oK 


13-6 Zabbix Web 测试 安装 环境 


单 击 “ 下 一 步 "按钮 ,如 图 13-7 所 示 ,配置 数据 库 连 接 , 输 入 数据 库 名 .用 户 、 密 码 , 单 击 
Test connection, IE zR OK ,再 单 击 “ 下 一 步 ” 按 钮 即 可 。 


ZABBIX Configure DB connection 


Please create database manually, and set the configuration parameters for connection to this 
database. Press "Next step" button when done. 


Database type [MySQL v 





Welcome 


Check of pre-requisites 


Configure DB connection Database host | localhost 
Deh serene Database port [0 0 - use default port 
Pre-installation summary = 
install Database name |zabbix 
User [zabbix 
Password — 





图 13-7 Zabbix Web 数据 库 配置 





继续 单 击 * 下 一 步 ?按钮 ,出 现 如 图 13-8 所 示 的 界面 ,填写 Zabbix Name 显示 ,可 以 为 
空 , 也 可 以 输入 自 定义 的 名 称 。 


ZABBIX Zabbix server details 


Please enter the host name or host IP address and port number of the Zabblx server, as well as the 
name of the installation (optional). 


Welcome 

Host | localhost 
Check of pre-requisites 
Configure DB connection Pot | 10051 


Zabbix server details Name [TERASA x 
Pre-installation summary 


Install 


图 13-8 Zabbix Web 详细 信息 
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单 击 “ 下 一 步 ” 按 钮 ,如 图 13-9 所 示 , 需 修 创 建 zabbix. conf. php 文件 , 单 击 Download 
the configuration file 下 载 zabbix. conf. php 文件 , 并 将 该 文件 上 传 至 /var/www/html/ 
conf/ ,同时 设置 可 写 权限 ,刷新 Web 页 面 ,zabbix. conf. php 内 容 代 码 如 下 ,最 后 单 击 Finish 
即 可 。 


<?php 

// Zabbix GUI configuration file 
global $DB; 

SDB[ "TYPE" ] = "MYSQL'; 
S$DB[ 'SERVER'] = 'localhost'; 
$DB[ ' PORT' ] = '0'; 

$DB[ 'DATABASE'] = 'zabbix'; 
$DB[ 'USER' ] = 'zabbix'; 


SDB['PASSHORD'] = '123456'; 

// Schema name. Used for IBM DB2 and PostgreSQL. 
SDB['SCHEMA'] = ''; 

$ZBX SERVER = 'localhost'; 

$ZBX SERVER PORT = '10051'; 

SZBX SERVER NAME = " 京 峰 教育 -分 布 式 监控 系统 '; 
SIMAGE FORMAT DEFAULT = IMAGE FORMAT PNG; 


ZABBIX Install 


Welcome 
Check of pre-requisites 


Configure OB connection Alternatively, you can install t manually: 
Zabbix server details Download the configuration file. 

Pre-installation summary Save it as "varwww/htmlicontizabbix cont php” 
Install 


13-9 Zabbix Web 配置 文件 测试 


登录 Zabbix Web 界面 ,默认 用 户 名 和 密码 为 admin/zabbix, 如 图 13-10 所 示 。 

(6) agent 客户 端 安装 配置 。 

解压 zabbix-3. 2. 6. tar. gz 源码 文件 ,切换 至 解压 目录 ,编译 安装 Zabbix, 命 令 如 下 : 
./configure -- prefix = /usr/local/zabbix -- enable - agent 

make 


make install 
In - s /usr/local/zabbix/sbin/zabbix * /usr/local/sbin/ 


修改 zabbix agentd. conf 客户 端 配 置 文件 .指定 server IP. 同 时 设置 本 地 Hostname 为 
本 地 IP 地 址 或 者 DNS 名 称 ,命令 如 下 : 


LogFile = /tmp/zabbix agentd. log 
Server - 192.168. 149.128 
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ZABBIX 


Username 


admin 


Password 





(a) Zabbix Web 登 录 界面 


NII Monitoring inventory Reports Configuration Administration 


Dashboard 
Favourite graphs Status of Zabbix 
No graphs added Parameter Value Details 
Graphs Zabbix server is running Ye localhost 10051 
Number of hosts (enabled/disabled/templates 39 )/1/38 
Favourite screens 
Number of items (enabled/disabled/not supported 0 1010 
No screens added 
Number of triggers (enabled/disabled [problem/ok]) 0 0700/0) 


(b) Zabbix Web 后 台 界 面 
图 13-10 Zabbix Web 界面 


ServerActive = 192.168.149.128 

Hostname = 192.168.149.129 

同时 执行 命令 cp zabbix_agentd 启动 脚本 至 /etc/init. d/ 目录 ,启动 zabbix_agentd 服务 
即 可 ,zabbix_agentd 默认 监听 端口 为 10050. 命 令 如 下 : 

cd zabbix- 3.2.6 

cp nisc/init.d/tru64/zabbix agentd /etc/init.d/zabbix agentd 

chmod o * x /etc/init.d/zabbix agentd 

/etc/init. d/zabbix_agentd start 

(7) Zabbix 监控 客户 端 。 

Zabbix 服务 端 和 客户 端 安装 完毕 之 后 , 需 通 过 Zabbix server 添加 客户 端 监 控 , Zabbix 
Web 界面 添加 客户 端 监控 的 操作 步骤 如 下 : 

依次 选择 Zabbix-Web— configuration — hosts 一 Create host — Host name 和 Agent 


第 13 章 ”Zabbix 分 布 式 监控 企业 实战 | 197 


interfaces, 同时 添加 templates 模板 ,选择 Add — Template OS Linux, 并 单 击 Add 提交 。 
此 处 Host name 名 称 与 Agentd. conf 配置 文件 中 Hostname 保持 一 致 , 否 则 会 报错 ,详情 如 
图 13-11 所 示 。 


Hostname | 192.168.149.129 








Visible name 





Groups In groups Other groups 





ew A 


Agentinterfaces |P address DNS name Connect to Port Default 
ji | 192.168.149.129 [ EB os [ow | & Remove 














图 13-11 Zabbix 添加 客户 端 监控 
将 客户 端 主机 链接 至 Template OS Linux, 启 用 模板 完成 主机 默认 监控 , 单 击 Add. F 
继续 单 击 Update 即 可 ,如 图 13-12 所 示 。 


Hosts 
All hosts / 192 168 149 129 Enabled ZEXĪSNMPĪJMXĪIPMI Applications items Triggers Graphs Discoveryrules ' 


Host Templates IPMI Macros Hostinventory Encryption 


Linked templates Name Action 





Template OS Linux x | Select | 


Link new templates 
| type here lo search 


EZ 1 Farao | [Delete | [ cancer 


13-12 Zabbix 为 客户 端 监控 添加 模板 





依次 选择 Zabbix Web— Monitoring Graphs— Group— Host > Graph. 监控 图 像 如 
图 13-13 所 示 。 

如 果 无 法 监控 到 客户 端 ,可 以 在 Zabbix server 端 ,执行 命令 获取 agent 的 items key 值 
是 否 有 返回 ,例如 system. uname 为 返回 客户 端的 uname 信息 ,命令 如 下 : 


/usr/local/zabbix/bin/zabbix get - s 192.168.149.130 -k system. uname 
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Group all | Host! 192.168.149.129 v | Graph| CPU utilization v B ic} 图 
Filter a 
2017-05-21 0825 - 2017-05-21 0925 (now!) 
oo 
Th fred 
58.149.129: CPU utilization (1h) 
(a) Zabbix 客 户 端 监 控 图 像 (D) 
Group | all v| Host| 192 168.149.129 » | Graph| Memory usage ` agr 


Filter a 
2017-05-21 09:06 - 2017-05-21 10:06 (now!) 
p J 
1h dynamic 





192.168.149.129: Memory usage (1h) 


(b) Zabbix 客 户 端 监控 图 像 (2) 
图 13-13 Zabbix 客户 端 监控 图 像 


13.6 Zabbix 配置 文件 详解 


Zabbix 监控 系统 组 件 分 为 server、proxy、agentd 端 ,对 各 自 组 件 的 参数 进行 详细 了 解 ， 
能 够 更 加 深入 理解 Zabbix 监控 功能 以 及 对 Zabbix 进行 调 优 ,3 个 组 件 的 常用 参数 详解 
如 下 : 
(1) zabbix_server. conf 配置 文件 参数 详解 如 下 : 
DBHost; 数据 库 主 机 地 址 。 
DBName: 数据 库 名 称 。 
DBPassword: 数据 库 密码 。 
DBPort 数据 库 端 口 ,默认 为 3306 。 
AlertScriptsPath: 告警 脚本 存放 路 径 。 
CacheSize: 存储 监控 数据 的 缓存 。 


ooo D oo 


G D D DD DDD O DDD OD DD OD OD D 


D D 0D O 0D oo 0 0 0 0 OD OD: DDD D 
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CacheUpdateFrequency: 更 新 一 次 缓存 时 间 。 

DebugLevel: 日 志 级 别 。 

LogFile: 日 志文 件 。 

LogFileSize: 日 志文 件 大 小 ,超过 自动 切割 。 

LogSlowQueries: 数据 库 慢 查询 记录 ,单位 为 ms. 

PidFile: PID 文件 。 

ProxyConfigFrequency: proxy 被 动 模式 下 «server 用 多 少 秒 同步 配置 文件 至 proxy. 
ProxyDataFrequency: 被 动 模式 下 ,server 间隔 多 少 秒 向 proxy 请 求 历 史 数 据 。 
StartDiscoverers: 发 现 规 则 线程 数 。 

Timeout: 连接 agent 超时 时 间 。 

TrendCacheSize: 历史 数据 缓存 大 小 。 

User: Zabbix 运行 的 用 户 。 

HistoryCacheSize: 历史 记录 缓存 大 小 。 

ListenIP: 监听 本 机 的 IP 地 址 。 

ListenPort; 监听 端口 。 

LoadModule: 模块 名 称 。 

LoadModulePath: 模块 路 径 。 


2) zabbix proxy. conf 配置 文件 参数 详解 如 下 : 


ProxyMode: proxy 工作 模式 ,默认 为 主动 模式 ,主动 发 送 数据 至 server。 
Server: 指定 server 端 地 址 。 

ServerPort; server ij port, 

Hostname: proxy 端 主机 名 。 

ListenPort: proxy 端 监听 端口 。 

LogFile: proxy 代理 端 日 志 路 径 。 

PidFile: PID 文件 的 路 径 。 

DBHost: proxy 端 数据 库 主机 名 。 

DBName: proxy 端 数据 库 名 称 。 

DBUser: proxy 端 数据 库 用户 。 

DBPassword: proxy 端 数 据 库 密码 。 

DBSocket: proxy 数据 库 socket 路 径 。 

DBPort; proxy 数据 库 端口 号 。 

DataSenderFrequency: proxy [a] server 发 送 数据 的 时 间 间 隔 。 
StartPollers: proxy 程 池 数 量 。 

StartDiscoverers: proxy 端 自动 发 现 主机 的 线程 数量 。 
CacheSize: 内 存 缓存 配置 。 

StartDBSyncers: 同步 数据 线程 数 。 
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a 
a 
a 


HistoryCacheSize: 历史 数据 缓存 大 小 。 
LogSlowQueries: 慢 查询 日 志 记 录 , 单 位 为 ms。 
Timeout: 超时 时 间 。 


(3) zabbix_agentd. conf 配置 文件 参数 详解 如 下 : 


口 
口 
a 
a 
a 
a 
a 
a 
a 
a 
a 
a 
a 
a 
a 


EnableRemoteCommands: 运行 服务 端 远程 至 客户 端 执 行 命令 或 者 脚本 。 


Hostname: 客户 端 主机 名 。 

ListenIP; 监听 的 IP 地 址 。 

ListenPort; 客户 端 监 听 端 口 。 

LoadModulePath; 模块 路 径 。 

LogFile; 日 志文 件 路 径 。 

PidFile; PID 文件 名 。 

Server: 指定 server IP 地 址 。 

ServerActive: Zabbix 主动 监控 server 的 IP 地 址 。 
StartAgents: agent 启动 进程 ,如 果 设 置 为 0, 表 示 禁 用 被 动 监控 。 
Timeout: 超时 时 间 。 

User: 运行 Zabbix 的 用 户 。 

UserParameter: 用 户 自 定义 key. 

BufferSize: 缓冲 区 大 小 。 

DebugLevel; Zabbix 日 志 级 别 。 


13.7 Zabbix 自动 发 现 及 注册 


熟练 掌握 Zabbix 监控 平台 监控 单 台 客户 端 之 后 ,假设 企业 中 有 成 千 上 万 台 服务 器 ,如 果 
手工 添加 会 非常 耗 时 ,造成 大 量 人 力 成 本 的 浪费 ,有 没有 更 好 的 自动 化 添加 客户 端的 方法 呢 ? 

Zabbix 自动 发 现 功 能 是 为 了 解决 批量 监控 而 设计 的 ,那么 什么 是 自动 发 现 呢 ?简单 来 
说 ,就 是 Zabbix server 端 可 以 基于 设 定 的 规则 ,自动 批量 的 去 发 现 局 域 网 若干 服务 器 ,并 自 


动 把 服务 器 添加 至 Zabbix 监控 平台 ,省 去 人 工 手动 频繁 的 添加 ,节省 大 量 的 人 力 成 本 。 
Zabbix 相对 于 Nagios, Cacti 监控 来 说 ,如 果 想 实现 批量 监控 ,Nagios „Cacti 需要 子 
单个 添加 设备 .分 组 ,项目 图像, 可 以 使 用 脚本 ,但 是 不 能 实现 自动 发 现 方式 添加 。 





Fal 


Zabbix 最 大 的 特点 之 一 是 可 以 批量 自动 发 现 主机 并 监控 ,利用 发 现 (discovery) 模 块 ， 
实现 自动 发 现 主机 、 自 动 将 主机 添加 到 主机 组 ,自动 加 载 模板 自动 创建 项 目 (items) . A 3l 
创建 监控 图 像 ,操作 步 又 如 下 : 

(1) 依次 选择 Configuration— Discovery — Create discovery rule ,创建 客户 端 发 现 规 
则 ,如 图 13-14 所 示 。 

具体 参数 说 明 如 下 : 

Name: 规则 名 称 。 
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iscovery rules 





Name | Local network 





Discovery by proxy | No proxy v 





IP range |192.168.149.100-254 





Delay (in sec) | 60 


Checks Zabbix agent system uname” Edit Remove 


New 


Device uniqueness criteria @ ip address 


Zabbix uname” 





图 13-14 创建 客户 端 发 现 规则 


a Discovery by proxy: 通过 代理 探索 。 

a IP range: zabbix server 探索 区 域 的 IP 范围 。 

a Delay: 搜索 一 次 的 时 间 间 隔 。 

a Checks: 检测 方式 ,如 用 ping 方式 去 发 现 主机 ,zabbix_server 需 安装 fping ,此 处 使 

用 agent 方式 发 现 。 

a Device uniqueness criteria; 以 IP 地 址 作为 被 发 现 主机 的 标识 。 

(2) Zabbix 客户 端 安装 agent。 

由 于 发 现 规则 里 选择 checks 方式 为 agent, 所 以 需 在 所 有 被 监控 的 服务 器 安装 Zabbix 
agent ,安装 的 方法 可 以 手动 安装 ,也 可 以 使 用 shell 脚本 , 附 Zabbix 客户 端 安装 脚本 ,脚本 
运行 方法 为 sh auto_install_zabbix. sh, 


# ! /bin/bash 

# auto install zabbix 

#by jfedu. net 2017 

Büsssdsssssss 

ZABBIX SOFT = "zabbix- 3.2.6.tar.gz" 

INSTALL DIR = "/usr/local/zabbix/" 

SERVER IP = "192.168.149.128" 

IP- 'ifconfig|grep Bcast|awk '(print $2]'|sed 's/addr://g'' 

AGENT INSTALL()( 

yum - y install curl curl- devel net - snmp net - snmp - devel perl - DBI 
groupadd zabbix ; useradd - g zabbix zabbix; usermod - s /sbin/nologin zabbix 
tar - xzf $ZABBIX_SOFT; cd 'echo $ZABBIX_SOFT|sed 's/.tar. * //g'' 
./configure -- prefix = /usr/local/zabbix -- enable - agent&&make install 
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if [ $? -eq0 ]; then 
ln - s /usr/local/zabbix/sbin/zabbix x /usr/local/sbin/ 
fi 
cd — ; cd zabbix - 3.2.6 
cp misc/init.d/tru64/zabbix agentd /etc/init. d/zabbix agentd ; chmod o + x /etc/init. d/zabbix - 
agentd 
# config zabbix agentd 
cat » $INSTALL DIR/etc/zabbix agentd. conf «« EOF 
LogFile = /tmp/zabbix agentd. log 
Server = $SERVER_IP 
ServerActive = $SERVER_IP 
Hostname = $IP 
EOF 
# start zabbix agentd 
/etc/init. d/zabbix_agentd restart 
/etc/init. d/iptables stop 
setenforce 0 
} 
AGENT_INSTALL 


(3) 创建 发 现 Action. 

Zabbix 发 现 规则 创建 完毕 ,客户 端 agent 安装 完 后 ,被 发 现 的 IP 主机 不 会 自动 添加 至 
Zabbix 监控 列表 ,需要 添加 发 现 动作 ,依次 选择 Configuration 一 Actions 一 Event source 
(Discovery)—Create action 即 可 。 

添加 规则 时 ,系统 默认 存在 一 条 发 现 规则 ,可 以 新 建 规则 ,也 可 以 编辑 默认 规则 ,如 
图 13-15 所 示 ,编辑 默认 发 现 规则 , 单 击 Operations 设置 发 现 操作 ,分 别 设置 Add host, Add 
to host groups,Link to templates ,最 后 启用 规则 即 可 。 

















‘Action Operations 
Name | Auto discovery. Linux servers 
Type of calculation And/Or v |Aand Band C 
Conditions Label Name Acton 
A Received value like Linux Remove 
8 Discovery status = Up Remove 
c Service type = Zabbix agent Remove 
New condition 
Host iP v||= "| 192.168.0.1-127,192 16821 
Add 
(a) 创建 客户 端 发 现 动作 


13-15 设置 发 现 操作 
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[Actions 
Action — Operations 
Default subject 
Detault message 
Operations Details Action 
Add host. Edit Remove 
Add to host groups: Linux servers Edit Remove 
Link to templates: Template OS Linux Edit Remove 
New 











(b) 客户 端 发 现 自动 添加 至 Zabbix(1) 








Filter a. 
Name Status EB Enavies | Disanioa 
E [== 
Conditions Operations Status 
Received value like Linux Add host Enabled 
Discovery status = Up. ‘Add to host groups: Linux servers 
Service type = Zabbix agent Link to templates: Tempiate OS Linux 


Displaying 1 


(c) 客户 端 发 现 自动 添加 至 Zabbix(2) 
图 13-15 (HD 


依次 选择 Monitoring 一 Discovery, 查 看 通过 发 现 规则 找到 的 服务 器 IP 列表 ,如 图 13-16 
所 示 。 


Discovered device a. 


Local network (4 devices) 


192 168.149 128 192 168.149.128 


192 168.149 129 192.168 149.129 
192.168.140 130 192 168 149 130 





192.168.149.131 192.168.149.131 


图 13-16 被 发 现 的 客户 端 列 表 
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依次 选择 Configuration>Hosts, 查 看 4 台 主 机 是 否 被 自动 监控 至 Zabbix 监控 平台 ,如 
图 13-17 所 示 。 


VAN=is1p,4 Monitoring inventory Reports Configuration Administration 


Hosts 


B Namea Applicatons tems Triggers — Graphs Discovery Web interface Templates 

G 192.168.149.128 Applications 10 llems32 Triggers15 Graphs5 Discovery2 Web 192.168.149.128: 10050 Template OS 
Œ 192.168.149.129 Applicatons 10 Hems44 Triggers19 Graphs8 Discovery2 Web 192.168.149.129: 10050 Template OS 
Æ 192.168.149.130  ApplicaBons 10 items32 Triggers15 Graphs5 Discovery2 Web 192.168.149.130: 10050 Template OS 


@ 192.168.149.131 Applicatons 10 llems32 Triggers15 Graphs5 Discovery2 Web 192.168.149.131. 10050 Template OS 


图 13-17 自动 发 现 的 主机 被 添加 至 Hosts 列表 


依次 选择 Monitoring Graphs. ,监控 图 像 查看 ,如 图 13-18 所 示 ,可 以 选择 Host .Graph 
分 别 查 看 各 种 监控 图 像 。 






Grou ai v J ot 21604019 +] 
| ali 

| 192.168.149.128 
192 168 149 129 
192.168.149.130 
| 192.168.149 


Graph | CPU jumps E B 















Filter a 


2017-05-21 09:18 - 2017-05-21 10:18 (now!) 
» o> 
59m dynamic 


192.168.149.129: CPU jumps (59m 34s) 








2332932252222222225225222853222852222222225 5$ 
SSESESSSSESCSSSESSSSSSSSAARSSRASSSHRARSESS 


(a) 客户 端 监控 图 像 (1) 


图 13-18 客户 端 监控 图 像 
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Group ai v | Host] 192.168.149.130 » | Graph Memory usage v B [4 
all I 
192 168.149.128 
192168 149.129 | 
7-05-21 09:16 - 2017-05-21 10:16 (now!) 


Filter a 


[192 168.149.131 | 


加 | 
th dynamic 
18.149.130: Memory usage (1h) 
(b) 客户 端 监控 图 像 (2) 
图 13-18 (4D 
13.8 Zabbix 邮件 报警 
Zabbix 服务 端 、 客 户 端 都 已 经 部 署 完成 ,被 监控 主机 已 经 添加 ,Zabbix 监控 运行 正常 ， 





查看 Zabbix 监控 服务 器 ,可 以 了 解 服务 器 的 运行 状 
Zabbix 监控 平台 查看 服务 器 的 状态 。 

可 以 在 Zabbix 服务 端 设置 邮件 报警 , 当 被 监控 主机 宕 机 或 者 达到 设 定 的 触发 器 预 设 值 
时 ,会 自动 发 送 报警 邮件 、 微 信 信 息 到 指定 的 人 员 , 有 利于 运 维 人 员 收 到 信息 后 第 一 时 间 解 
决 故障 。Zabbix 邮件 报警 设置 步骤 如 下 : 

(1) 设置 邮件 模板 及 邮件 服务 器 。 

依次 选择 Administration? Media types— Create media type, 填 写 邮 件 服务 器 信息 , 根 
据 提示 设置 完毕 ,如 图 13-19 所 示 。 

(2) 配置 接收 报警 的 邮箱 。 

依次 选择 Administration user Admin(Zabbix Administrator) — user— admin, fh j 
择 Media. d; Add 添加 发 送 邮 件 的 类 型 为 Email, 同 时 指定 接收 邮箱 地 址 为 wgkgood (2 
163. com, 根 据 实际 需求 可 以 改 成 自己 的 接收 入 ,如 图 13-20 所 示 。 

(3) 添加 报警 触发 器 。 

依次 选择 Configuration— Actions— Action— Event source— Triggers > Create Action. 如 
图 13-21 所 示 ,分 别 设置 Action, Operations, Recovery operations。 具 体 参数 设置 如 下 : 

a 选择 Action New condition , 勾 选 Trigger severity» = Warning: 

2 在 Operations 中 设置 报警 间隔 为 60s, 自 定 义 报 警 信 息 ,报警 信息 发 送 至 


administrators 组 ; 


态 是 否 正常 , 运 维 人 员 不 会 时 刻 登录 
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SMTP server | mail edu net 
SMTP server port 25| 


SMTP helo | edu net 








SMTP email. | wak@jodu net 
Conrecton socury MIB, sers | sums | 
Usemame | wok. 
e 
(a) Zabbix 邮 件 报警 邮箱 设置 () 





Media types 
Fitter a 
w] C] “s RUN == | bass 
Ea 
Ü Name a Type Status. Used in achons Detans 
B Emal Email Enabled SMTP server “mail jiedu nef, SMTP helo Jiedu nel", SMTP email “~wok@jfedu ner 
(Jj Jabber Jabber Enabled. Jabber identifier Jabber@company com 
@ sus SMS Enabled GSM modem ^dewttyS0" 
(b) Zabbix 邮 件 报警 邮箱 设置 (2) 
图 13-19 Zabbix 邮件 报警 邮箱 设置 
Users 
User [59 ] Permissions 
Media | Type Sendto When Use if severity Status Action 











Send to | wgkgood@163 com | 








When active | 1-7,00:00-24:00 








Use itseverity @ Not classified 
@ Information 


图 13-20 Zabbix 邮件 报警 添加 接收 人 
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Actions 


Action Operations 





Name 


Conditions 


New condition 


Enabled 


Action Operations 





Default operation step duration 


Defaut subject [SNTRIGGER STATUS) RESI (M 


Recovery operations 





Report problems to Zabbix administrators 


Label Name 








mi 











Add 





a 
EEI [ene | [oree] [cance] 


(a) 邮件 报警 Action 设 置 





Recovery operations 


.—— 80 | minimum 60 seconds) 








STNAMETIHEE(TRIGUERKAMEHNEN — | 


Default message | SEN HOSTNAME?) 


| 89178 (EVENT DATE) (EVENTTIME) 

| SSSR (TRIGGER SEVERITY) 

| 8888. (TRIGGER NAME) 

SEME (TRIGGER KEY 1) | 
| SEP (ITEM NAME)- (ITEM VALUE) Ë 


Pause operations while in maintenance. W 


Operations Steps Details 


Actions 


Action Operations 


Default subject 


Default message 


Startin 
1 — Send message to user groups: Zabbix administrators via all media immedi 
New 


(b) 邮件 报警 Operations 设 置 


Recovery operations 


[ TRIGGER STATUS), IBSHIB(HOSTNAMET) (TRIGGER NAMEJEME — | 





‘ETB (TRIGGER KEY 1) 
IBS (ITEM NAME) (ITEM VALUE] 


Details 
Notify all who received any messages regarding the problem before 
New 


(c) 邮件 报警 Recovery operationsi Tt 
邮件 报警 设置 





Clone Delete 














Cancel | 








图 13-21 
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o 在 Recovery operations 中 自 定义 恢复 信息 ,恢复 信息 发 送 至 administrators 组 。 
报警 邮件 标题 可 以 使 用 默认 信息 :也 可 使 用 如 下 中 文 报警 内 容 。 


名 称 : Action- Email 

默认 标题 : 故障 {TRIGGER. STATUS}, 服务 器 : {HOSTNAME1 } 发生: { TRIGGER. NAME} 故 障 ! 
默认 信息 : 

告警 主机 :{HOSTNAME1} 

告警 时 间 : (EVENT. DATE} (EVENT. TIME} 
告警 等 级 : (TRIGGER. SEVERITY} 

告警 信息 : (TRIGGER. NAME} 

告警 项 目 : (TRIGGER. KEY1} 

问题 详情 : (ITEM. NAME) : ( ITEM. VALUE} 

当前 状态 : (TRIGGER. STATUS) : ( ITEM. VALUE1} 
事件 ID: (EVENT. ID) 


恢复 邮件 标题 可 以 使 用 默认 信息 ,也 可 使 用 如 下 中 文 报警 恢复 内 容 。 


恢复 标题 : 恢复 {TRIGGER. STATUS}， 服 务 器 : (HOSTNAMEI): {TRIGGER. NAME} 已 恢复 ! 
恢复 信息 : 

告警 主机 : (HOSTNAME1) 

告警 时 间 : (EVENT. DATE) (EVENT. TIME) 

告警 等 级 : {TRIGGER. SEVERITY} 

告警 信息 : (TRIGGER. NAME) 

告警 项 目 :{TRIGGER. KEY1 ) 

问题 详情 : [ ITEM. NAME) : ( ITEM. VALUE} 

当前 状态 : ( TRIGGER. STATUS) : ( ITEM. VALUE1} 

事件 ID: (EVENT. ID) 


依次 选择 Monitoring Problems. f AA [6] ff]. Action 事件 , 单 击 Time 下 方 时 间 , 如 
图 13-22 所 示 ,可 以 查看 邮件 执行 成 功 还 是 失败 。 
































Hosts [type nero to search | Select k [wo 
Add 

Application | Select 
= — = m Show hosts in maintenance @# 

Triggers | type here tn search Select 
Show unacknowledged only 目 

Problem | 
‘Show details (Ü 
Minimum trigger severity Notclassifed v 
Age less than (3 W days 
Tmev Ü Seventy  Recoveryime Status mo Host Problem 
112134AM B PROBLEM 192 168 149 129 Free disk space is less than 20% on volume Doo 
(a) Zabbix 查 看 有 问题 的 事件 


图 13-22 检查 有 问题 的 Action 事件 
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Time User Message User acton 


No data found 


Message info 


05210017 
112136 AM. 20% on volume. 


TIPROBLEM,777:192:168.149.12977: Free disk space is less than — Ë! 
toot 


| 
7777192 168.149.129 

7777-2017 05.21 112134 
717? Waming 

7777 Free disk space is less than 20% on volume /boot 
TIN eS: 


777? Free disk space on boot (percentage) 0 % 
1??? PROBLEMO % 


(b) Zabbix 有 问题 的 事件 执行 任务 
图 13-22 (50 








Zabbix 邮件 发 送 失 败 , 报 错 Support for SMTP authentication was not compiled in. Jii 
因 是 Zabbix CURL 版 本 要 求 至 少 是 7.20 十 版 本 ,因此 需 升级 CURL ,升级 方法 如 下 : 


wget http://mirror. city — fan. org/ftp/contrib/yum - repo/city - fan. org — release - 1 - 13. rhel6. 
noarch. rpm 

rpm — ivh city- fan.org- release- 1 - 13. rhel6.noarch. rpm 

yum upgrade libcurl - y 

curl -V 


CURL 升级 完毕 之 后 ,测试 邮件 发 送 ,还 是 报 同样 的 错误 ,原因 是 需要 重新 将 Zabbix 
server 服务 通过 源码 编译 安装 一 遍 , 安 装 完 Zabbix server 并 重启 服务 ,有 可 能 会 出 现 乱码 ， 
乱码 问题 是 由 于 数据 库 字 符 集 需 改 成 UTF-8 格式 ,将 Zabbix 数据 库 导出 ,然后 修改 字符 集 
latinl 为 utf8, 再 将 SQL 导入 ,重启 Zabbix 即 可 ,最 终 如 图 13-23 所 示 。 


Time Type Staus Retiesiet Recipient Message 


0521/2017 Emaii Sent Admin (Zabbix 故障 PROBLEM, 服务 总:192.168.149.130 发 生 : Free disk spa 
12:15:03 PM Administrator) than 20% on volume /boot 故 网! 
wgkgood@163 com 

2801192 168.149.130 

1888/82017 0521 12:15:01 

BS Warning 

告警 信息 : Free disk space is less than 20% on volume /boot 

‘SBME vis fs size/bootptree] 

AISEA Free disk space on /boot (percentage):0 % 

当前 状态 PROBLEM0 % 

$0226 


(a) Zabbix 事 件 发 送 邮 件 进程 
图 13-23 Zabbix 监控 发 送 邮件 
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故障 PROBLEM, 服 务 器 :192.168.149.130 发 生 : Free disk space is less than 20% on volume /boot 故 障 ! 
SA s wgkewgkGjfedunet» 

GA: 我 <wgkgood@163.com> 

时 m: 2017 年 05 月 216 12:15 (WA) 


告警 主机 :192. 168. 149. 130 
告警 时 间 :2017.05. 21 12:18:01 
告警 等 级 :Warning 


告警 信息 : Free disk space is less than 20% on volume /boot 
告警 项 目 :vfs. fs. size[/boot, pfree] 

问题 详情 :Free disk space on /boot (percentage):O % 
当前 状态 :PROBLEN:0 % 


事件 ID:226 
(b) Zabbix 监 控 故 障 item 发 送 报警 邮件 


恢复 OK, 服务 器 :192.168.149.130: Free disk space is less than 20% on volume /boot DiS! | P O8 
BA: wgkewgkGjfedu.net» 

GIA: 我 <wgkgood@163com> 

时 iA: 2017 年 05 月 21 日 1213 (星期 日 ) 


告警 主机 :192. 168. 149. 130 
告警 时 间 : 2017.05.21 12:03:01 


告警 等 级 :Warning 
告警 信息 : Free disk space is less than 20% on volume /boot 


告警 项 目 :vfs, fs. size[/boot, pfree] 
问题 详情 :Free disk space on /boot (percentage):85.74 % 
当前 状态 :0g:85.74 % 
事件 ID:194 
(c) Zabbix 监 控 故 障 item 人 恢复 发 送 邮件 


图 13-23 (BE) 


13.9 Zabbix 监控 MySQL 主 从 复制 


Zabbix 监控 除了 可 以 使 用 agent 监控 客户 端 服务 器 状态 .CPU 内存、 硬盘 .网卡 流量 等 
运行 情况 ,同时 Zabbix 还 可 以 监控 MySQL EJ ili] LAMP, Nginx Web 服务 器 等 ,以 下 
为 Zabbix 监控 MySQL 主 从 复制 的 步骤 : 

(1) 在 Zabbix agent 端 /data/sh 目录 创建 shell 脚本 mysql_ab_check. sh, 写 入 如 下 
代码 : 

# ! /bin/bash 


/usr/local/mysql/bin/mysql - uroot - e 'show slave status\G' |grep - E 
"Slave IO Running|Slave SQL Running"|awk '(print $2}'|grep - c Yes 


第 13 章 “Zabbix 分 布 式 监控 企业 实战 |> 211 


(2) 在 客户 端 zabbix agentd. conf 配置 文件 中 加 入 如 下 代码 : 

UserParameter = mysql. replication, sh /data/sh/mysql ab check. sh 

(3) Zabbix 服务 器 端 获取 监控 数据 ,如 果 返 回 值 为 2, 则 证 明 从 库 1/0, SQL 线程 均 为 
Yes, 表 示 主 从 同步 成 功 , 代 码 如 下 : 

/usr/local/zabbix/bin/zabbix get - s 192.168.149.129 —k mysql. replication 

(4) Zabbix Web >F 4, fE 192. 168. 149. 129 hosts 中 创建 item 监控 项 , 单 击 右 上 角 


create item. {E Key 输入 栏 中 填写 zabbix agentd 配置 文件 中 的 mysql. replication 即 可 ,如 
图 13-24 所 示 。 








Items 
Allhosts / 192 168 149 129 Enabled EY sue oM — Applicatons 10 nems44 Trggers19 Graphs8 Dis 
Filter a 
Hostgroup [wpehereiosemch — || Select | Type [an "| 
Host [EEC || Select | | Updateintervai(insec) | | 
Apion | || selec | 
Name 
Key 
Reset 











(a) Zabbix 添 加 MySQL 主 从 item(1) 





Alihosts / 192 168.149.129 Enabled E Sr [oP Applications 10 Items 44 — Triggers 19 — Graphs8 Discovery rules} 


Name | MYSQL 主 从 监控 ] 








Hostinterface | 192.168.149.129: 10050 ©] 


Type of information | Numeric (unsigned) v | 


Datatype |Decimai — v 





Units 


Use custom multiplier C 1 


Update interval (in sec) 30 


(b) Zabbix 添 加 MySQL 主 从 item(2) 














13-24 Zabbix 添加 MySQL 主 从 item 
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MySQL 主 从 监控 项 创建 Graph 图 像 , 如 图 13-25 所 示 。 








Allhosts / 192168149129 ”Enabled RU SF wx sw Applcations10 tems45 Triggers19 Graphs8 Discovery rules 


Graph Preview 











(a) 创建 MySQL 主 从 监控 图 像 (1) 
rcentle line (right) (3 
Y axis MIN value [Calculated + | 


Y axis MAX value | Calculated v | 





hems Name Function Draw style Y axis side Color Acton 
Ë * 192.168.149.129: MYSQL se [ws v] [une Tte v TATCH | Remove 
Ada 
ca 


(b) 创建 MySQL 主 从 监控 图 像 (2) 
图 13-25 ”创建 MySQL 主 从 监控 图 像 
MySQL 主 从 监控 项 创建 触发 器 ,如 图 13-26 所 示 ,MySQL 主 从 状态 监控 ,设置 触发 器 
条 件 Key 值 不 等 于 2 即 可 ,不 等 于 2 即 表 示 MySQL 主 从 同步 状态 异常 ,匹配 触发 器 会 执行 


Actions。 





@ 192.168.149.128/popup_trexpr.php 





Mem 192.168.149.129: MYSQL 主 从 监 这 Select 


Function | Lastmostrecen Tvalue is NOTN | — 


Last of (T) Time v 




















(a) 创建 MySQL 主 从 监控 触发 器 (1) 
图 13-26 创建 MySQL 主 从 监控 触发 器 
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Allhosts / 192.168.149.129 Enabled EEJ SNMF nay |IPM Applications 10 Hems45 Tnggers20 Graphs9 


Trigger Dependencies 







Name | mysql ab status 








‘Severity | Notclassified 








Expression | (192.168.149. 129-mysqi replication last()}<>2 | 





Expression constructor 


OK event generation EI Recoveryexpression | None 


(b) 创建 MySQL 主 从 监控 触发 器 (2) 








图 13-26 ( 续 ) 
如 果 主 从 同步 状态 异常 ,Key 值 不 等 于 2, 会 触发 邮件 报警 ,报警 信息 如 图 13-27 所 示 。 


故障 PROBLEM, 服 务 器 :192.168.149.129 发 生 : mysql ab status 故 障 ! ^ ^O & 
发 件 人 : wgk<wgk@jfedu.net> 

收 件 人 : SkewokgoodO163.com» 

时 (B: 2017 年 05 月 216 1535 (MA) 


告警 主机 :192. 168. 149. 129 
告警 时 间 :2017.05.21 15:35:18 
告警 等 级 :Hgh 

告警 信息 ; nysql ab status 
告警 项 目 :nysql. replication 
问题 详情 :JSQL 主 从 监控 :1 
当前 状态 :PROBLEI:1 

事件 ID:432 


图 13-27 MySQL 主 从 监控 报警 邮件 


13.10 Zabbix 日 常 问题 汇总 


Zabbix 可 以 设置 中 文 汉化 ,如 果 访 问 Zabbix 出 现 如 下 历史 记录 乱码 , 即 Web 界面 
乱码 ,原因 是 数据 库 导 入 前 不 是 UTF-8 字符 集 , 需 要 修改 为 UTF-8 模式 ,如 图 13-28 


所 示 。 
MySQL 数据 库 修改 字符 集 方法 .在 vim /etc/my. cnf 配置 段 加 入 如 下 代码 ; 


[mysqld] 
character - set - server = utf8 
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[client] 

default - character - set = utf8 
[mysql] 

default - character - set = utf8 





图 13-28 数据库 原 字符 集 latin1 


备份 Zabbix 数据 库 并 删除 原 数据 库 
zabbix. sql 文件 里 面 的 latinl 为 utf8 ,然后 
码 如 下 : 






i 新 创建 ,再 导入 备份 的 数据 库 , 修 改 导 入 的 
[导入 到 Zabbix 数据 库 ,乱码 问题 即 可 解决 , 代 


sed - i 's/latinl/utf8/g' zabbix. sql 


如 果 在 查看 Graph 监控 图 像 界 面 的 时 候 出 现 乱码 ,如 图 13-29 所 示 。 








m m m m 
[00] 997% 9397% 9963% 9983% 
[00] 0.08% 0% 00% 237% 
[00] 0.15% 01% 015% 105% 
(00) 0% 0% 005% 249% 
[pal 0% 0% 0% 0% 
EB CPU interrupttime [00] 0.02 % o% 0.01% 0.05% 
E] CPU softirq time Im) 007* 0.05 % 0.07 % 013% 
Ill CPU steal time 100] 0% 0% o% 0% 


图 13-29 Graph 图 像 乱码 


在 Windows 的 控制 面板 中 的 “字体 "选项 中 选择 一 种 中 文字 库 , 例 如 “楷体 ”, 如 图 13-30 
所 示 。 
将 字体 文件 cp 至 Zabbix 服务 dauntfonts 目录 下 , 即 /var/www/html/zabbix/fonts, 并 


A STKAITI. TTF 重 命 名 为 DejaVuSans. ttf, 刷 新 Graph 图 像 , 乱 码 问 题 即 可 解决 ,如 
图 13-31 所 示 。 
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HN » OSDisk(C) + Windows + Fonts » ag 





HUS. MELETT RN EERE 


BR- ES Me =m 


E 
ét me Wk AF ME HAF MER 
Fa ee PLET SUR urge qu ne s cwm Su Se SEL Los xd 
PAF We MEF | 莘 体 字 | 简体 字 ”简体 宁 简体 字 
mm 简体 字 


图 13-30 选择 Windows 简体 中 





root@localhost -]? cd /var/ww/htm1/fonts/ 
rootülocalhost fonts]# 
root@localhost fonts]4 
root@localhost fonts]? 1s 
DejavuSans.ttf 
root@localhost fonts] # 
root@localhost fonts] # 

rootülocalhost fonts]? rz -y 
rz waiting to receive. 

zmodem trl«C 4 

100% 2437 KB 12437 KB/s 00:00:01 0 Errors 


[root@localhost fonts]? 1s 

DejavuSans.ttf stkaiti.ttf 

[root@localhost fonts]# mv stkaiti.ttf Dejavusans.ttf 
mv: overwrite DejaVuSans.ttf'? y 

peers ocalhost fonts] # 
root@localhost fonts]? 1s 
DejavuSans.ttf 





(a) 上 传 Windows 简 体 中 文字 体 





VU interrupt nm 





Bl CPU weal ti 


(b) Graph 图 像 乱码 问题 解决 


图 13-31 解决 Graph 图 像 乱码 问题 
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13.11 Zabbix 触发 命令 及 脚本 


Zabbix 在 对 服务 或 者 设备 进行 监控 的 时 候 , 如 果 被 监控 服务 异常 ,满足 触发 器 ， 
可 以 发 送 邮 件 报警 .短信 报警 及 微 信 报 警 。Zabbix 还 可 以 远程 执行 命令 或 者 脚本 ,对 部 分 
故障 实现 自动 修复 。 具 体 可 以 执行 的 任务 如 下 : 

a 重启 应 用 程序 ,例如 Apache, Nginx, MySQL, Tomcat 服务 等 

o 通过 IPMI 接口 重启 服务 器 ; 

a 删除 服务 器 磁盘 空间 及 数据 ; 

a 执行 脚本 及 资源 调度 管理 ; 

a 远程 命令 最 大 长 度 为 255 个 字符 ; 

a 同时 支持 多 个 远程 命令 ; 

a Zabbix 代理 不 支持 远程 命令 。 

使 用 Zabbix 远程 执行 命令 , 需 在 Zabbix 客户 端 配置 
zabbix agentd. conf 行 尾 加 入 如 下 代码 ,并 

















“ 件 开启 对 远程 命令 的 支持 ,在 
重启 服务 ,如 图 13-32 所 示 





EnableRemoteCommands = 1 


[root@localhost d /usr/local/zabbix/etc 
root@localhost 
root@localhost etc]£ 

x_agentd. conf 


vim zabbix_agentd. conf 
entd. 10g 


49 

9.1 
rParamete replication,sh /data/sh 1_ab_check 
bleRemoteCo! 








客户 端 配置 远程 命令 支持 


创建 Action ,依次 选择 Configuration Actions Triggers. WA 13-33 所 示 , 类 型 选择 
Remote command,Steps 表示 执行 命令 1 一 3 次 ,Step duration 设置 每 次 命令 执行 间隔 时 
间 ,60s 执行 一 次 ,执行 命令 方式 选择 Zabbix agent. IEF sudo 执行 命令 即 可 。 

在 Zabbix 客户 端 sudoer 配置 文件 中 添加 Zabbix 用 户 拥有 执行 权限 且 无 须 密 码 登 录 ， 
代码 如 下 : 





Defaults:zabbix !requiretty 
zabbix ALL- (ALL) NOPASSWD: ALL 


在 Zabbix 客户 端 /data/sh/ ,创建 auto. clean disk. sh ,脚本 代码 如 下 : 


#!/bin/bash 
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Name [Remote command | 





Type of calculation | And/Or v |AandB 
Conditions Label Name Action 
A Maintenance status not in maintenance Remove 
B Trigger severity >= Warning Remove 
New condition r 
| Trigger name ve v 
Add 
Enabled if 
(a) 客户 端 触 发 器 满足 条 件 
Operations Steps Details Startin Duration (sec) Action 
1-3 Run remote commands on current host immediately 60 Edit Remove 


Operation details 


Steps 1|- 3 | (0 - infinitely) 
Step duration. 60 ] (minimum 60 seconds, 0 - use action default) 


Operation type | Remote command v 


Targetlist Target Acton 
Current host Remove 
New 


Type | Custom script v 
Execute on ETTI zoo server 
Commands | sudo /bin/bash /Mata/sh/auto_clean_disksh 


(b) Operations 类 型 选择 Remote Command 





图 13-33 创建 Action 


井 auto clean disk space 

#2017 4 6 A 21 H 10:12:18 

# by author jfedu. net 

rm — rf /boot/test. ing 

find /boot/ -name " x .log" -size +100M - exec rm -rf {} V; 


将 192.168. 149. 129 服务 器 /boot 目录 临时 写 满 , 然 后 满足 触发 器 ,实现 远程 命令 执 
行 ,查看 问题 事件 命令 执行 结果 ,如 图 13-34 所 示 。 

如 果 Zabbix 客户 端 脚本 或 者 命令 没有 执行 成 功 , HTTP 服务 没有 停止 ,可 以 在 Zabbix 
server 端 执行 如 下 命令 ,详情 如 图 13-35 所 示 。 


/usr/local/zabbix/bin/zabbix get - s 192.168.149.129 -k "system. run[ sudo /etc/init.d/httpd 
restart]" 
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1 05212017 Email Admin (Zabbix BIBPROBLEM 服务 器:192.168. 
05.0935 PM Administrator) than 20% on volume boots! 
wgkgood@163 com 





29307: Free disk space is less 


192.168.149 129 
2017 0521 170934 





SSSR Warning. 
EREE Free disk space is less than 20% on volume boot 
SENE vs fs se/bootpt'ee] 

EH Free disk space on boot percentage) 0 W 
SMS PROBLEMO S 

Sros 


Commana actions 


Problem 









168 149 





mbasn idata/stvauto ce; 


(a) Remote command 执 行 成 功 


[root@localhost boot]# dd if=/dev/zero of=/boot/test.img bs-1M cou 
dd: writing  /boot/test.img': No space left on device 

164+0 records in 

163+0 records out 

171401216 bytes (171 mB) copied, 1.58514 s, 108 MB/s 
[root@localhost boot]# df hi 

Filesystem Size Used Avail Use% Mounted on 

/dev/sda3 30G 6.2G 22G 23% / 


1 242: 


p 2 ie] g 
dev/sdal 94M 190M 0 100% /boot 
I ocalnos: II 7 


Filesystem Size Used Avail Use% Mounted on 
/dev/sda3 30G 6.2G 22G 23% / 
f: 242M 0 242M d. 





(b) Remote command 执 行 磁盘 请 理 成 功 


图 13-34 查看 问题 事件 命令 执行 结果 


ical /zabbix/bin/zabbix 


Could not reliably determine the server's 





图 13-35 ”测试 Remote command 命令 


13.12 Zabbix 分 布 式 配置 





Zabbix 是 一 个 分 布 式 监控 系统 , 它 可 以 以 一 个 中 心 点 、 多 个 分 节点 的 模式 运行 ,使 用 
proxy 能 大 大 地 降低 Zabbix server 的 压力 .Zabbix proxy 可 以 运行 在 独立 的 服务 器 上 ,如 
图 13-36 所 示 。 
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< 


Zabbix proxy 


Q> 


Zabbix proxy 






Zabbix server 


13-36 Zabbix proxy 网 络 拓扑 图 


安装 Zabbix proxy ,基于 Zabbix-3. 2. 6. tar. gz 软件 包 , 同 时 需要 导入 Zabbix 基础 框架 
表 , 具 体 实现 方法 如 下 : 
(1) 下 载 Zabbix 软件 包 , 代 码 如 下 : 


wget http://sourceforge. net/projects/zabbix/files/ZABBIX% 20Latest % 20Stable/3. 2. 6/zabbix — 
3.2.6. tar. gz/download 


(2) 在 Zabbix proxy 上 执行 如 下 代码 : 


yum - y install curl curl- devel net - snmp net — snmp - devel perl- DBI 
groupadd zabbix ; useradd - g zabbix zabbix; usermod - s /sbin/nologin zabbix 


(3) Zabbix proxy 端 配置 。 
创建 Zabbix 数据 库 ,执行 授权 命令 如 下 : 


create database zabbix proxy charset = utf8; 
grant all on zabbix proxy. * to zabbix@ localhost identified by '123456'; 
flush privileges; 


解压 Zabbix 软件 包 并 将 Zabbix 基础 SQL 文件 导入 数据 至 Zabbix 数据 库 ,代码 如 下 : 


tar zxvf zabbix- 3.2.6.tar.gz 
cd zabbix - 3.2.6 

mysql - uzabbix - p123456 zabbix proxy < database/mysql/schema. sql 
mysql — uzabbix - p123456 zabbix proxy < database/mysql/images. sql 


切换 至 Zabbix 解压 目录 ,执行 如 下 代码 ,安装 zabbix server: 


./configure —- prefix = /usr/local/zabbix/ -- enable- proxy -- enable- agent —— with- mysql 
--enable- ipv6 -- with- net- snmp -- with- libcurl 

make 

make install 

In — s /usr/local/zabbix/sbin/zabbix * /usr/local/sbin/ 


220 <| 曝光 : Linux (P Ny is & Sc EX 








37 所 示 。 





ibbix proxy 安装 完毕 ,cd /usr/local/zabbix/etc/ 目录, 如 图 1: 


zabbix_proxy.conf 


zabbix_ag 


root 
root root ) LIP pi proxy cont] 


[root@ww 





图 13-37 Zabbix proxy 安装 目录 


(4) 备份 Zabbix proxy 配置 文件 ,代码 如 下 : 
cp zabbix proxy. conf zabbix proxy.conf.bak 
(5) 将 zabbix_proxy. conf 配置 文件 中 代码 设置 为 如 下 代码 : 


Server = 192.168.149.128 
Hostname = 192.168. 149.130 
LogF ile = /tmp/zabbix_proxy. log 
DBName = zabbix_proxy 

DBUser = zabbix 

DBPassword = 123456 

Timeout = 4 

LogSlowQueries = 3000 
DataSenderFrequency = 30 
HistoryCacheSize - 128MB 
CacheSize = 128MB 





(6) Zabbix 客户 安装 agent, 同 时 配置 agent Jg; server 设置 为 proxy 服务 器 的 IP 地 
址 或 者 主机 名 ,zabbix_agentd. conf 配置 文件 代码 如 下 : 


LogF ile = /tmp/zabbix agentd. log 
Server = 192. 168. 149.130 
ServerActive - 192.168. 149.130 
Hostname - 192.168.149.131 








加 监控 ,如 图 13-38 





现 集中 管理 和 分 布 式 汲 


(7) 在 Zabbix server Web 端 添 
所 示 。 


加 proxy 
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Proxies 


Proxy Encryption 























Hosts Proxy hosts Other hosts 
| 192 168 149 131 | [19216849128 — | 
| 192.168.149.129 
«1l 
| ra | 
| 一 | 
(a) Zabbix proxy Web 添 加 
Hosts 
D Names Applications lems Trggers Graphs Discovey Web interface 
© 192.168.149.128 Applications 10 items 44 Triggers 19 Graphs8 Discovery2 Web 192.168.149.128 
10050 
@ 192.168.149.129 Applications 10 items 45 Triggers 20 Graphs9 Discovery2 Web 192.168.149.129 
10050 
Æ 192.168.149.130: 192.168.149.131 Applications Hems Triggers Graphs Discovey Web 192.168.149.131 
10050 
Group all v | Host] 192.168.149.131 v| Graph Disk 


Filter a 


2017-05-22 15 
< 


192.168149.131: Disk space usage /boot (1h) 


BB vas roo wn aom 


= Blasio vm oor 


(c) Zabbix proxy 监 控 客户 端 图 像 
图 13-38 Zabbix server Web 端 添 加 proxy 


13.13 Zabbix 微 信 报警 


Zabbix 除了 可 以 使 用 邮件 报警 之 外 ,还 可 以 通过 多 种 方式 把 告警 信息 发 送 到 指定 人 ， 
例如 短信 、 微 信 报 警方 式 , 越 来 越 多 的 企业 开始 使 用 Zabbix 结合 微 信 作 为 主要 的 告警 方式 ， 
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因为 每 个 人 每 天 都 在 使 用 微 信 , 这 样 可 以 及 时 有 效 地 把 告警 信息 推送 到 接收 入 ,方便 对 告警 
信息 及 时 处 理 。Zabbix 微 信 报警 设置 方法 及 步骤 如 下 : 
COD. 微 信 企业 号 注册 。 
企业 号 注册 地 址 为 https://qy. weixin. qq. com/ ,填写 企业 注册 信息 ,等 待 审 核 完 ,并 且 
微 信 扫 描 登 录 企业 公众 号 ,如 图 13-39 所 示 。 
主体 信息 登记 


son METHIND 90 == 


包括 企业 及 其 分 支 机 构 
营业 执照 EETA 


VWRAGIEE SERERE ， 不 市 与 市 术 无 关 水 印 , RE 
ETIEELHES 


em | 
© 设 有 营业 执 局 , 迭 污 注册 


营业 执照 注册 号 


(a) 微 信 企业 公众 号 注册 











首页 通讯 录 企业 应 用 mane ED 
吴 光 科 ， 开 始 探索 企业 微 信 
© 2 š 
下 载 企业 秽 信 遵 清 同事 加 入 探索 企业 应 用 
Ses RASS REE 提供 考勤 报销 等 企业 应 用 
立即 下 载 > ZEB mene > 
(b) 微 信 企业 公众 号 登录 





图 13-39 注册 并 登录 微 信 企业 公众 号 


(2) 通讯 录 添 加 运 维 部 门 及 人 员 。 

登录 新 建 的 企业 号 ,提前 把 企业 成 员 信 息 添加 到 组 织 或 者 部 门 , 需 要 填写 手机 号 、 微 信 
号 ,邮箱 ,通过 这 样 的 方式 让 别人 扫 码 关注 企业 公众 号 ,以 便于 后 面 企业 号 推送 消息 给 企业 
成 员 ,如 图 13-40 所 示 。 

(3) 在 企业 公众 号 中 创建 应 用 。 

除了 对 个 人 添加 微 信 报 警 之 外 ,还 可 以 添加 不 同 管理 组 ,接受 同一 个 应 用 推送 的 消息 ， 
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成 员 账 号 ,组 织 部 门 ID ,应 用 agent ID, corp ID 和 secret, 调 用 API 接口 需要 用 到 这 些 信息 ， 
如 图 13-41 所 示 。 











首页 gum 企业 应 用 eese OE 
r ] + SBMOEEHESSQA) 
| aaa || mS » || amem || ae | | meme 
g = BS an H 
日 = Ed 
B wn TERES 





| mmm || mme «|| mese || ws | | umamae 





(a) 登录 企业 公众 号 通讯 录 


京 峰 教 育 运 维 部 (2 人 ) 

















|== cos memo || we ||| maman | 
g us BS =n 手册 on r 
D sxm mümmies ST vg @jfedu net 
D wM FUMUS Ses sa 





| aman || mA || amen || ase ||| mamaq | 





(b) 添加 企业 成 员 信息 


图 13-40 ” 微 信 企业 公众 号 通讯 录 





LE 企业 应 用 ama CE 管理 工具 


SSAREGA. 接 入 企业 TT 系统 Bae 


> mem >m g 打卡 
(a) 微 信 企业 公众 号 创建 应 用 (1) 
图 13-41 微 信 企 业 公众 号 创建 应 用 
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应 用 名 称 
| 由 运 堆 监控 报 器 





应 用 介绍 (BM) 
京 峰 运 奴 监控 报 桔 ， 详 现 微 信 报 警 信息 展示 ! 
www fedu.net 


ui. | 
Lae sm xm 


(b) 微 信 企 业 公众 号 创建 应 用 (2) 


京 峰 运 维 监控 报警 


京 峰 运 维 监控 报警 < 


京 峰 运 她 监控 报警 ， 立 现 疯 信 报 和 警 信息 展示 ! www ffedu net 
Agentid 1000004 sa 
Secret PGEMedOI-myyCSuQV7wuB7kAEq63vKADWAOXUJPMP4 
可 见 范 转 AB%8  LNAM 


c) 微 信 企业 公众 号 创建 应 用 (3) 
图 13-41 ( 续 ) 
(4) 获取 企业 corp ID, 单 击 企 业 公众 号 首页 中 “我 的 企业 ” 即 可 看 到 ,如 图 13-42 所 示 。 
主体 类 型 企业 [nuu 


企业 全 称 北京 京 峰 信 达 科技 有 限 公司 


已 使 用 /人 数 上 限 2/200 ”申请 扩容 


创建 时 间 20175: 5 pum 
域名 aes 
CorpiD LLL 


图 13-42. fit fri dis M ARS corp ID 
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(5) 微 信 接口 调试 ,调用 微 信 接口 需要 一 个 调用 接口 的 凭证 ,Access Token 通过 corp 
ID 和 secret 可 以 获得 Access Token, 微 信 企 业 号 接口 调试 地 址 为 http://qydev. weixin. 
qq. com/ debug. All E] 13-43 所 示 。 


一 、 接 口 类 型 建立 连接 
二 、 接 口 列表 获取 AccessToken v 方法 : GET 
三 、 参 数列 表 

“corpid eT 


公司 的 id 


*corpsecret PGEViedoL-myyCSuQV7wuB7kAEq63vKADW40XUjPMP4 


(a) 微 信 企业 公众 号 调试 (1) 


建立 连接 ; 获取 AccessToken 


请 求 地 址 : https//qyapi.weixin.qq.com/cgi-bin/gettoken?corpid -ww1c4b5aad35681bbd&cc 
myyCSuQV7wuB7kAEq63vKADW40XUjPMP4 
返回 结果 : HTTP/1.0 200 OK 
Connection: close 
Error-Code: 0 
Error-Msg: ok 
Content-Type: application/json; charset- UTF-8 
Content-Length: 362 
['errcode":0,"errmsg*:*ok*,*access token*:*LrY3hh-aoKO7mFBOAVfUpkcsLQ6-rx2; 
U4RWMwSIYMnPVJmXTLmXOpATmDqHpTyatQ035H7yOK1psTGynDX5Zy2IkvRVc 
(b) 微 信 企 业 公众 号 调试 (2) 


图 13-43” 微 信 企 业 公众 号 调试 
(6) 获取 微 信 报警 工具 ,代码 如 下 : 


mkdir - p /usr/local/zabbix/alertscripts 
cd /usr/local/zabbix/alertscripts 
wget http://dl.cactifans.org/tools/zabbix weixin.x86 64.tar.gz 














tar zxvf zabbix weixin. x86 64.tar.gz 

mv zabbix weixin/weixin 

chmod o * x weixin 

mv zabbix weixin/weixincfg. json /etc/ 

rm — rf zxvf zabbix weixin.x86 64.tar.gz 


rm — rf zabbix weixin/ 
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修改 /etc/ weixincfg. json 配置 文件 中 corp ID、secret、agent ID, 并 测试 脚本 发 
代码 如 下 ,如 图 13-44 所 示 。 





cd /usr/local/zabbix/alertscripts 

./weixin wuguangke 京 峰 教育 报警 测试 Zabbix 故障 报警 

./weixin contact subject body 

信息 格式 参数 说 明 : contact 为 你 的 微 信 账 号 ， 是 微 信号 ,不 是 微 信 昵称 ,可 以 把 
用 户 账号 设置 成 微 信号 或 微 信 昵称 ; subject 为 告警 主题 , body 为 告警 详情 。 





[root@localhost alertscripts]# 
[root@localhost alertscripts]£ 
[root@localhost alertscripts]# 
1X1nm zabb1x_w 
[root@localhost alertscripts] 
We1X1n z b1x 
[root@localhost alertscripts] 
[root@localhost alertscripts]# 


GEViedOI 
: 1000004 


京 峰 运 维 监 控 报 警 





E [07:03] 京 峰 教育 报警 测试 
Zabbix 故 障 报警 





(b) Zabbix server 端 微 信 配置 文件 2) 


图 13-44 Zabbix server 端 微 信和 配置 文件 


(7) 脚本 调用 设置 
Zabbix server 端 设置 脚本 执行 路 径 ,编辑 zabbix_server. conf 文件 





TEP 
AlertScriptsPath = /usr/local/zabbix/alertscripts 


(8) Zabbix Web 端 配置 ,设置 Action 动作 ,并 设置 触发 微 信 报 警 , 如 图 13-45 所 示 。 

(9) 配置 Media Types 微 信 脚本 .依次 选择 Administration Media Types 一 Create Media 
Type ,如 图 13-46 所 示 , 脚 本 加 入 3 个 参数 : { ALERT. SENDTO}, { ALERT. SUBJECT}, 
(ALERT. MESSAGE 

CLO) 配置 接收 微 信 
图 13-47 所 示 。 





信息 的 用 户 ,依次 选择 Administration Users Admin— Media. 如 
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Action Operations Recovery operations 








Type of calculation | And/Or v AandB 


Conditions Label Name 
A Maintenance status not in maintenance 


8 Trigger severity >= Warning. 





New condition 





Trigger severity — w | >= v | Notclassited v | 





^d 


Enabled @# 
(a) Zabbix server Action 动 作 配置 (1) 


Action Operations Recovery operations 





Default operation step duration 60 | (minimum 60 seconds) 








Default subject ， 故 年 [TRIGGER STATUS) SR (HOSTNAME 1)#° (TRIGGER NAME} ] 





Default message 


SME (TRIGGER STATUS) (ITEM VALUE 1) 


事件 DEVENTID| 


Pause operations while in maintenance @# 


Operations Steps Details Startin Duration (sec) Action 
New 


(b) Zabbix server Action 动 作 配置 (2) 


Queen dew Steps 1H 5 |(0 - infinitely) 


‘Step duration 60 (minimum 60 seconds, 0 - use action default) 


Operation type Sendmessage + 


Send to Usergroups User group Action 
Zabbix administrators Remove 
Add 
Sendto Users User Acton 
Add 


Sendonlyto weixin config v 
(c) Zabbix server Action 动 作 配置 (3) 
13-45 Zabbix server Action 动作 配置 
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Name |webin config 
Tpe [Sont v 


Scnptname |webin 











(ALERTSENDTO) 


(ALERTSUBJECT) 


(ALERTMESSAGE) 








EB ^|» 


图 13-46 Zabbix server Media Types 配置 























Type |webin cong v 





‘When active | 1-7,00:00-24:00 




















图 13-47 Zabbix server Users Media 配置 


QD 微 信 报 警 信息 测试 , 当 磁 盘 容 量 剩 余 不 足 20% 时 ,会 触发 微 信 报警 ,如 图 13-48 所 示 。 


Message actions 
Step Time Type Status Retrieslet Recipient Message 
Problem 
1 05/23/2017 weixin_config Sent Admin (Zabbix 故障 PROBLEM, 服 务 器 :192.168,149.129 发 生 : Free 
072336 AM Administrator) less than 20% on volume 
wuguangke 
‘BHM 192 168 149 129 
‘BA 2017 05.23 07 2334 
SSSR Warning 
SHAE Free disk space is less than 20% on volu 
SSAA vis fs size[/boot pfree] 
(BERS Free disk space on /boot (percentage).0 % 
当前 状态 PROBLEM:0 % 
事件 ID-2664 


(a) Zabbix 微 信 报 警 信息 
图 13-48 Zabbix 微 信 报警 信息 测试 
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£ [07:25] 恢 复 OK, 服务 
器 :192.168.149.129: Free disk 
m 2d E space is less than 20% on 
192.168.149.129% Æ: Free 
l ! 
disk space is less than 20% on volume /boot 已 恢复 
li /boot 故 障 ! — EAT 
ET sss 告警 主机 :192.168.149.129 
告警 主机 :192.168.149.129 告警 时 间 :2017.05.23 07:23:34 
告警 时 间 :2017.05.23 07:23:34 告警 等 级 :Warning 
(b) Zabbix 微 信 报 警 故 障 信 息 (c) Zabbix 微 信 报 警 恢复 信息 


13.14 Zabbix 监控 网 站 关键 词 


FET 


随 着 公司 网 站 系统 越 来 越 多 ,不 能 通过 人 工 每 天 手动 去 刷新 网 站 来 检查 网 站 代码 及 页 
是 否 被 窜改 ,通过 Zabbix 监控 可 以 实现 自动 去 检查 Web 网 站 是 否 被 窜改 ,例如 监控 某 个 





网 站 页 面 中 关键 词 ATM 是 否 被 修改 ,通过 脚本 监控 的 方法 如 下 : 





(1) agent 端 编写 shell 脚本 监控 网 站 关键 词 , /data/sh/ 目 录 shell 脚本 内 容 如 下 ,详情 


如 图 13-49 所 示 。 


# ! /bin/bash 

#2017 #E 5 H 24 H 09:49:48 
# by author jfedu. net 
#HHHHHHH 
WEBSITE = "http: //192. 168. 149. 131/" 
NUM = 'curl -s $WEBSITE|grep - c "ATM"' 
echo $NUM 











图 13-49 Zabbix 客户 端 脚本 内 容 


(2) 在 客户 端 zabbix_agentd. conf 内 容 中 加 入 如 下 代码 ,并 重启 agentd 服务 即 可 ,如 


图 13-50 tas. 


UserParameter = check http word, sh /data/sh/check_http_word. sh 
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图 13-50 


E 


(3) 服务 器 端 获取 客户 
则 表示 ATM 关键 词 被 帘 改 ,人 





/usr/1local/zabbix/bin/zabb 


(4) Zabbix Web 7 








添加 客户 端的 Items 








Zabbix 客户 端 脚本 执行 结果 


的 关键 词 Key, 输 入 1, 则 表示 ATM 关键 词 存在 ,如 果 不 为 1 
发 码 如 下 : 


ix get — s 192.168.149.131 -k check http word 


n 





如 图 13-51 所 示 。 

















Items 
Alihosts | 192168149131 Enabled EZ3 Applications 10 nems45 Triggers 19 Graphs ® Dis 
Name [HTTP Word monitor 
Type Zabbix agent ` 
Select 
Hostinterface | 192 168 149 131 10050 
Type of information | Numeric (unsigned) * 
Datatype | Decima! ` 
Units 
FA 13-51 Zabbix & P!3 Key 添加 
(5) @J#Ë check http word 监控 Graphs 图 像 , 如 图 13-52 所 示 
[Graphs 
Allhosts / 192.168.149.131 — Enabled EJ Applications 10  Mems45  Triggers 19 Graphs8 
Graph Preview 








Name ‘Monitor-HTTP-ATM 


Width 900 

Height 200 

Graph type | Normal M 
Showlegend i£ 
_Show working time _ 








(a) Zabbix 客 | 





F JfiGraphs(1) 





图 13 Zabbix 客户 端 添 加 Graphs 
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Percentile line (let) E 
Percentile line (right) E 
Y axis MIN value | Calculated v | 
Y axis MAX value | Calculated w 


tems Name Funcion  Drawstyie Yaxisside — Color 
Ë 4: 192.168.149.131: HTTP Word monitor aw v Line v| Let "| n 


E m 
E (cove 














(b) Zabbix 客户 端 添加 Graphs(2) 
图 13-52 (4D 


(6) 创建 check http word 触发 器 ,如 图 13-53 所 示 。 





© 192.168.149.128/popup trexpr.php 





"em 192 168149 131 HTTP Word monitor Select | 





Function | Last (most recent) T value is NOT N 


Lastof(T) Time + 


Time shift Time 





Nit 


(a) Zabbix 客 户 端 创建 触发 器 (1) 











Trigger Dependencies 
Name | CHECK HTTP WORD 
Severity | Notclassified | Information [warming | Average | High | Disaster | 
Expression | (192 168 149 13 t:check http word last()}<>1 | ^ad | 














Expression constructor 


OK event generation ELI Recovery expression | None 
PROBLEM event generation mode EC Multiple | 
OK event closes EL Ali problems iftag values match | 


(b) Zabbix 客 户 端 创建 触发 器 (2) 
图 13-53 Zabbix 客户 端 创建 触发 器 
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(7) 查看 Zabbix 客户 端 监控 图 像 , 如 图 13-54 所 示 。 





2017-05-24 16:54:18 -2017-05-24 17 5416 (now) 


(e| > | 
th fed 
131-Monitor-HTTP-ATM (1h) 
(a) Zabbix HTTP word monitor 监 控 图 
Event source details Acknowledgements. 
Host 192.168.149 131 Time User 
Trigger CHECK HTTP WORD 
—_ 
Message actions 
‘Problem (192.168.149 131 check. nttp. word last()) 
expression. ot Sep Time Type Stats — Reines lof 
Recovery. Problem 
expression. 
3 05/24/2017 06:0926 — jfwebin Sent 
Event generation Normal PM 
Allow manual No 
dose 


(b) Zabbix HTTP word monitor 触 发 器 微 信 报警 
图 13-54 查看 Zabbix 客户 端 监控 图 像 
除了 使 用 如 上 shell 脚本 方式 监控 ,还 可 以 通过 Zabbix Web 界面 配置 HTTP URL 监 


控 ,方法 如 下 : 依次 选择 Configuration Hosts 一 Web, 创 建 Web 监控 场景 ,基于 Chrome 
38.0 访问 HTTP Web 页 面 ,如 图 13-55 所 示 。 





‘Scenario Steps Authentication 


Name 192.168.149.131 





Application 





Update interval (in sec) | 60 











Agent [Chrome 38.0 (Linux) 


aj 


HTTP proxy | nnp Musen passwordi@iprory example comi porti 











(a) Zabbix Web 场 景 配置 (1) 


图 13-55 通过 Zabbix Web 界面 配置 HTTP URL 监控 
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(D 192.168.149.131/popup httpstep.php?dstfrm-httpForm 

















Name | 192 168 149 131 
URL | hipJ/192 168 149 131/ 
Post 
Variables 
(b) Zabbix Web 场 景 配置 (2) 
nitoring 
192.168.149.131 Enabled EE a na Applicabons 10 fems45 Triggers20  Graphs9 Discovery rules? web 
Steps Authentication 
Steps Name Timeout URL Requires Status codes 


1: 192.168.149.131 i5sec  hfpj/192 168.149 131/ 


Add 


E [ Cancel 


(c) Zabbix Web 场 景 配置 (3) 


200 


Details of web scenario: 192.168.149.131 


stop Speed 


192 168.149 131 171 KBps 


TOTAL 


Zoom: 5m 15m 30m 1h 2h 3h Gh 12h !d 3d 7d 14d 1m 3m AW 
4 


<< Am 7d 1d 12h th Sm | Sm th 12h 1d 7d 1m »» 


(d) Zabbix Web 监 控 图 (1) 


192 168. 149 131 


anon 
CETE 
CETT] 


z 
a 


of scenario “192 168 149 131" 





step "192 168 149.131" 
(e) Zabbix Web 监 控 图 (2) 


Lavel 


图 13-55 (2D 


Response tme 


Fir a 


Speed (6m: 





last ain E 
Bps 916 Bps 


ERN Nginx Web 服务 器 
é, 


T 企业 实战 








万 维 网 (world wide web,WWW) 服 务 器 ,也 称 之 为 Web 服务 器 ,主要 功能 是 提供 网 上 
信息 浏览 服务 。 目 前 主流 的 Web 服务 器 软件 包括 Apache, Nginx, Lighttpd, IIS, Resin, 
Tomcat、WebLogic Jetty. 

本 章 向 读者 介绍 Nginx 高 性 能 Web 服务 器 .Nginx 工作 原理 ,安装 配置 及 升级 、Nginx 
配置 文件 深入 剖析 Nginx 虚拟 主机 、location 案例 演示 、Nginx rewirte 企业 案例 实战 、 
HTTPS 安全 Web 服务 器 及 Nginx 高 性 能 集群 实战 等 内 容 。 


14.1 Nginx Web 入 门 简介 


NginxCengine x) 是 一 个 高 性 能 HTTP、 反 向 代理 ,IMAP、POP3、SMTP 服务 器 。 
Nginx 是 由 Igor Sysoev 为 俄罗斯 访问 量 第 二 的 Rambler. ru 站 点 开发 的 ,第 一 个 公开 版 本 
发 布 于 2004 年 10 月 4 日 。 其 源 代码 以 类 BSD 许可 证 的 形式 发 布 , 因 它 的 稳定 性 ,丰富 的 
功能 集 \ 示 例 配 置 文 件 和 低 系统 资源 的 消耗 而 闻名 。 

由 于 Nginx 的 高 性 能 、 轻 量 级 ,目前 越 来 越 多 的 互联 网 企业 开始 使 用 Nginx 做 为 Web 
服务 器 。 据 Netcraft 统计 ,在 2017 年 4 月 份 , 世 界 上 最 繁忙 的 网 站 中 有 28.72% 使 用 Nginx 
作为 其 服务 器 或 者 代理 服务 器 。 

Nginx 已 经 在 众多 流量 很 大 的 俄罗斯 网 站 上 使 用 了 很 长 时 间 , 这 些 网 站 包括 Yandex、 
Mail. Ru, VKontakte 以 及 Rambler。 目 前 互联 网 主流 公司 京东 .360 百度 .新浪 .腾讯 .阿里 
都 在 使 用 Nginx 作为 自己 的 Web 服务 器 。 

Nginx 特点 是 占有 内 存 少 , 并 发 能 力 强 ,事实 上 Nginx 的 并 发 能 力 确实 在 同类 型 的 网 页 
服务 器 中 表现 较 好 。 

Nginx 相对 于 Apache 优点 如 下 : 

a 高 并 发 响应 性 能 非常 好 ,官方 Nginx 处 理 静态 文件 并 发 5w/s; 
负载 均衡 及 反 向 代理 性 能 非常 强 ; 
系统 内 存 和 CPU 占用 率 低 ; 

可 对 后 端 服务 进行 健康 检查 ; 








D D DO 
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a 支持 PHP CGI 方式 和 FastCGI FR; 
a 可 以 作为 缓存 服务 器 .邮件 代理 服务 器 ; 
a 配置 代码 简洁 且 容易 上 手 。 


14.2 Nginx 工作 原理 


Nginx Web 服务 器 主要 是 由 各 种 模块 协同 工作 ,模块 从 结构 上 分 为 核心 模块 .基础 模 
块 和 第 三 方 模块 ,其 中 三 类 模块 分 别 如 下 : 

a 核心 模块 : HTTP 模块 .event 模块 和 mail 模块 等 。 

o 基础 模块 : HTTP access 模块 .HTTP FastCGI 模块 .HTTP proxy 模块 和 HTTP 
rewrite 模块 。 

a 第 三 方 模块 : HTTP upstream request hash 模块 ,notice 模块 和 HTTP access key 
模块 limit_req 模块 等 。 

Nginx 的 模块 从 功能 上 分 为 如 下 三 类 。 

a handlers( 处 理 器 模块 ) : 此 类 模块 直接 处 理 请 求 ,并 进行 输出 内 容 和 修改 headers fii 
息 等 操作 ,handlers 处 理 器 模块 一 般 只 能 有 一 个 。 

a filters( 过 滤器 模块 ) : 此 类 模块 主要 对 其 他 处 理 器 模块 输出 的 内 容 进行 修改 操作 ,最 
后 由 Nginx 输出 。 

a proxies( 代 理 类 模块 ): 此 类 模块 是 Nginx 的 HTTP upstream 之 类 的 模块 ,这 些 模 
块 主要 与 后 端 一 些 服 务 比 如 FastCGI 等 进行 交互 ,实现 服务 代理 和 负载 均衡 等 
功能 。 

Nginx 由 内 核 和 模块 组 成 ,其 中 内 核 的 设计 非常 微小 和 简洁 ,完成 的 工作 也 非常 简单 ， 

仅 是 通过 查找 配置 文件 将 客户 端的 请 求 映 射 到 一 个 location block. ,而 location 是 Nginx 配 
置 中 的 一 个 指令 ,用 于 访问 的 URL 匹配 ,而 location 中 所 配置 的 每 个 指令 将 会 启动 不 同 的 
模块 去 完成 相应 的 工作 ,如 图 14-1 所 示 。 








n A 
HTTP request HTTP response 
conf Nginx core filterN 
filter2 
choose a handler based conf 
filter] 
generate content 














图 14-1 Nginx Web 工作 流程 图 
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Nginx 的 高 并 发 得 益 于 其 采用 了 epoll 模型 ,与 传统 的 服务 器 程序 架构 不 同 ,epol 是 Linux 
内 核 2. 6 以 后 才 出 现 的 ,Nginx 采用 epoll 模型 ,异步 非 阻塞 ,而 Apache 采用 的 是 select 模型 。 

select 模型 的 特点 为 select 选择 句柄 的 时 候 , 是 遍历 所 有 句柄 ,也 就 是 说 句柄 有 事件 响 
应 时 ,select 需要 遍历 所 有 句柄 才能 获取 到 哪些 句柄 有 事件 通知 ,因此 效率 是 非常 低 。 

epoll 模型 的 特点 为 epoll 对 于 句柄 事件 的 选择 不 是 遍历 的 ,是 事件 响应 的 ,就 是 句柄 上 
事件 来 就 马上 选择 出 来 ,不 需要 遍历 整个 句柄 链表 ,因此 效率 非常 高 。 

Nginx 默认 以 80 端口 监听 在 服务 器 上 ,并且 启动 一 个 master 进程 ,同时 由 master 进程 
生成 多 个 工作 进程 , 当 浏 览 器 发 起 一 个 HTTP 连接 请 求 ,每 个 进程 都 有 可 能 处 理 这 个 连接 。 
怎样 保证 同一 时 刻 一 个 HTTP 请 求 被 一 个 工作 进程 处 理 呢 ? 

首先 每 个 worker 进程 都 是 从 master 进程 fork 出 来 ,在 master 进程 里 面 , 建 立 好 需要 
listen 的 socket(listenfd) 之 后 ,会 fork 出 多 个 worker 进程 。 所 有 worker 进程 的 listenfd 
会 在 新 连接 到 来 时 变 得 可 读 , 为 保证 只 有 一 个 进程 处 理 该 连接 ,所 有 worker 进程 在 注册 
listenfd 读 事件 前 抢 accept mutex. 抢 到 互 斥 锁 的 那个 进程 注册 listenfd 读 事件 ,在读 事件 
里 调用 accept 接受 该 连接 。 当 一 个 worker 进程 在 accept 这 个 连接 之 后 ,就 开始 读 取 请 求 、 
解析 请 求 ,处理 请 求 ,产生 数据 后 ,再 返回 给 客户 端 ,最 后 才 断 开 连 接 , 这 样 形成 一 个 完整 的 
请 求 流程 ,如 图 14-2 所 示 。 






































Nginx 
worker 进 程 ["erkerite | | worker 进 程 | 
client | client | client client | client client 
































图 14-2. Nginx worker 进程 工作 原理 


14.3 Nginx 安装 配置 


Nginx Web 安装 时 可 以 指定 很 多 的 模块 ,默认 需要 安装 rewrite 模块 ,需要 系统 有 
PCRE 库 , 安 装 PCRE 支持 rewrite 功能 。 以 下 为 安装 Nginx Web 服务 器 的 方法 ,注意 
Nginx 整合 PCRE 库 ,需要 指定 PCRE 源码 目录 ,而 不 是 PCRE 编译 完成 之 后 的 路 径 ,否则 
会 报错 。 代 码 如 下 : 


# 安 装 PCRE 库 支 持 
yum install pcre- devel pcre -y 
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井下 载 Nginx 源码 包 

cd /usr/src 

wget -c http://nginx. org/download/nginx- 1.12.0. tar.gz 

井 解压 Nginx 源码 包 

tar - xzf nginx- 1.12.0.tar.gz 

井 进入 解压 目录 , 然后 sed 修改 Nginx 版 本 信息 为 IWS 

cd nginx- 1.12.0 ; sed — i -e 's/1.12.0//g' - e 's/nginx\//JWS/g' - e 
's/" NGINX" /"JWS" /g' src/core/nginx. h 

# 预 编译 Nginx 

useradd www ; ./configure -- user = www —- group = www —- prefix- /usr/local/nginx -- with 一 
http stub status module -- with - http ssl module 

# . conf igure 预 编译 成 功 后 ,执行 make 命令 进行 编译 

make 

# make 执行 成 功 后 , 执行 make install 正式 安装 

make install 

井 至 此 Nginx Web 服务 器 安装 完毕 


测试 Nginx 服务 安装 是 否 正确 ,同时 启动 Nginx Web 服务 ,具体 步骤 如 下 : 
o 检查 Nginx 配置 文件 是 否 正确 ,返回 OK 即 正确 。 代 码 如 下 : 
/usr/local/nginx/sbin/nginx -t 

root@ localhost ~]# /usr/local/nginx/sbin/nginx -t 

nginx: the configuration file /usr/local/nginx/conf/nginx. conf syntax is ok 


nginx: configuration file /usr/local/nginx/conf/nginx. conf test is successful 
root@ localhost ~] # 


a 然后 启动 Nginx, 执 行 命令 /usr/local/nginx/sbin/nginx f£ Enter 键 即 可 。 查 看 进程 


是 否 已 启动 ,代码 如 下 : 
root@ localhost 一 ]# ps - ef |grep nginx 
nobody 5381 30285 0 Mayl6 ? 09:04:31 nginx: worker process 
root 30285 102017? 00:00:00 nginx: master process /usr/local/nginx/sbin/nginx 


root 32260 32220 0 12:34 pts/0 — 00:00:00 grep nginx 
root@ localhost ~] # 


通过 浏览 器 访问 Nginx 默认 测试 页 面 ,如 图 14-3 所 示 。 


Welcome to nginx! 





I you see this page, the nginx web server is successfully installed and 
working. Further configuration is required. 

For oniine documentation and support please refer to Dgicorg. 
‘Commercial support is available at ngiinx.com, 

Thank you for using nginx 


图 14-3 Nginx Web 浏览 器 访问 


14.4 Nginx 管理 及 升级 


Nginx Web 服务 器 安装 完毕 后 ,可 以 执行 以 下 命令 对 其 进 管理 和 维护 ,命令 如 下 : 
# 查 看 Nginx 进程 
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ps - ef|grep nginx 

# 平 滑 启动 Nginx 

kill — HUP 'cat /var/run/nginx. pid' 

# 

nginx - s reload 

# 其 中 进程 文件 路 径 在 配置 文件 nginx. conf 中 可 以 找到 
# 平 滑 启动 的 意思 是 在 不 停止 Nginx 的 情况 下 ,重启 Nginx, 重新 加 载 配置 文件 ,启动 新 的 工作 线程 ， 
# 完 美 停止 旧 的 工作 线程 

# 完美 停止 Nginx 

kill - QUIT 'cat /var/run/nginx. pid' 

# 快 速 停止 Nginx 

kill — TERM 'cat /var/run/nginx. pid' 

# 或 者 

kill — INT 'cat /var/run/nginx. pid' 

2 完美 停止 工作 进程 (主要 用 于 平滑 升级 ) 
kill -WINCH 'cat /var/run/nginx. pid' 

井 强制 停止 Nginx 

pkill -9 nginx 

井 检查 对 nginx. conf 文件 的 修改 是 否 正确 
nginx -t - c /etc/nginx/nginx.conf 

# 或 者 

nginx 一 七 

井 停止 Nginx 的 命令 

nginx - s stop 

# 或 者 

pkill nginx 

# 查 看 Nginx 的 版 本 信息 

nginx - v 

# 查 看 完整 的 Nginx 的 配置 信息 

nginx - V 


Nginx Web 软件 定期 更 新 ,以 下 为 将 低 版 本 升级 或 者 将 高 版 本 降级 的 方法 ,一 般 分 为 
四 个 步骤 : 软件 下 载 , 预 编译 ,编译 、 配 置 ,具体 方法 及 代码 如 下 : 


wget http://www. nginx. org/download/nginx- 1.4.2.tar.gz 





# 获 取 旧 版 本 Nginx 的 configure 选项 
/usr/local/nginx/sbin/nginx -V 
# 编 译 新 版 本 的 Nginx 


tar - xvf nginx- 1.4.2.tar.gz 

cd nginx- 1.4.2 

./configure -- prefix = /usr/local/nginx -- user = www - — group = www -- with- http stub 
status module —— with- http ssl module 

make 

# 备 份 旧 版 本 的 Nginx 可 执行 文件 ,复制 新 版 本 的 Nginx 可 执行 文件 
mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx. old 
cp objs/nginx /usr/local/nginx/sbin/ 

井 测试 新 版 本 Nginx 是 否 正常 

/usr/local/nginx/sbin/nginx -t 

井 平滑 重启 升级 Nginx 
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kill -QUIT 'cat /usr/1ocal/nginx/log/nginx. oldbin' 
# 验 证 Nginx 是 否 升级 成 功 
/usr/local/nginx/sbin/nginx -V 

井 显示 最 新 编译 的 版 本 信息 即 可 


14.5 Nginx 配置 文件 优化 一 


学 习 Nginx 服务 的 难点 在 于 对 配置 文件 的 理解 和 优化 ,熟练 掌握 Nginx 配置 文件 参数 
的 含义 可 以 更 快 地 掌握 Nginx, 以 下 为 nginx. conf 配置 文件 常用 参数 详解 : 


HEX Nginx 运行 的 用 户 和 用 户 组 

user WWW WWW; 

# 启动 进程 ,通常 设置 成 和 CPU 的 数量 相等 

worker processes 8; 

worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 
# 为 每 个 进程 分 配 CPU, 上 例 中 将 8 个 进程 分 配 到 8 个 CPU, 当然 可 以 写 多 个 ,或 者 将 一 个 进程 分 配 到 
# E CPU 

worker rlimit nofile 102400; 

# 该 指令 是 当 一 个 Nginx 进程 打开 的 最 多 文件 描述 符 数 目 , 理论 值 应 该 是 最 多 打开 文件 数 (ulinmit 一 
#n) tj Nginx 进程 数 相 除 ,但 是 Nginx 分 配 请 求 并 不 是 那么 均匀 ,所 以 最 好 与 ulimit -n 的 值 保持 
= 

# ERR H a BID 文件 

error_log /usr/local/nginx/logs/error. log; 

井 错误 日 志 定义 等 级 ,[ debug | info | notice | warn | error | crit ] 

pid /usr/local/nginx/nginx. pid; 

# 工 作 模式 及 连接 数 上 限 

events { 

use epoll; 

£ epoll 是 多 路 复 用 I/0(I/0 multiplexing) 中 的 一 种 方式 ,但 是 仅 用 于 Linux 2.6 以 上 内 核 ,可 以 大 
# 大 提高 Nginx 的 性 能 

worker connections 102400; 

# 单 个 后 台 worker process 进程 的 最 大 并 发 连接 数 (最 大 连接 数 = 连接 数 * 进程 数 ) 

multi accept on; 

# 尽 可 能 多 地 接受 请 求 

} 

BE GE HTTP 服务 器 ,利用 它 的 反 向 代理 功能 提供 负载 均衡 支持 

http ( 

* WEE MIME 类 型 ,类 型 由 mime. type 文件 定义 

include mime. types; 

default type application/octet - stream; 

# 设 定 日 志 格式 

access log /usr/1local/nginx/1og/nginx/access. log; 

sendfile on; 

#sendfile 指令 指定 Nginx 是 否 调用 sendfile 函数 (zero copy 方式 ) 来 输出 文件 , 对 于 普通 应 用 必 
# MUA on 
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井 如果 用 来 进行 下 载 等 应 用 磁盘 I/0 重 负载 应 用 ,可 设置 为 off, 以 平衡 磁盘 与 网 络 1/0 处 理 速度 , 降 
# 低 系统 的 uptime 

#autoindex on; 

# 开 启 目录 列表 访问 ,合适 下 载 服务 器 ,默认 关闭 

tcp_nopush on; 

# 防 止 网 络 阻 塞 

keepalive timeout 60; 

#keepalive 超时 时 间 , 客 户 端 到 服务 器 端的 连接 持续 有 效 时 间 , 当 出 现 对 服务 器 的 后 继 请 求 时 , 
#keepalive - timeout 功能 可 避免 建立 或 重新 建立 连接 

tcp nodelay on; 

# 提 高 数据 的 实时 响应 性 

并 开启 gzip 压 缩 

gzip on; 

gzip min length 1KB; 

gzip buffers 4 16KB; 

gzip http version 1.1; 

gzip comp level 2; 

# 压 缩 级 别 大 小 ,最 大 为 9, 值 越 小 ,压缩 后 比例 越 小 ,CPU 处 理 更 快 , 值 越 大 ,消耗 CPU 比较 高 
gzip_types text/plain application/x- javascript text/css application/xml; 

gzip vary on; 

client max body size 10MB; 

# 允 许 客户 端 请 求 的 最 大 单 文件 字 节 数 

client body buffer size 128KB; 

# 缓 冲 区 代理 缓冲 用 户 端 请 求 的 最 大 字 节 数 

proxy connect timeout 90; 

3t Nginx 跟 后 端 服务 器 连接 超时 时 间 ( 代 理 连接 超时 ) 

proxy_send timeout 90; 

# 后 端 服务 器 数据 回 传 时 间 ( 代 理发 送 超时 ) 

proxy read timeout 90; 

# 连 接 成 功 后 ,后 端 服务 器 响应 时 间 ( 代 理 接收 超时 ) 

proxy buffer size 4KB; 

井 设置 代理 服务 器 (Nginx) 保 存 用 户头 信息 的 缓冲 区 大 小 

proxy buffers 4 32KB; 

# proxy buffers 缓冲 区 ,网 页 平均 在 32KB 以 下 的 话 ,这 样 设置 

proxy busy buffers size 64KB; 

井 高 负荷 下 缓冲 大 小 (proxy_buffers* 2) 

# 设 定 请 求 缓冲 

large client header buffers 4 4KB; 

client header buffer size 4KB; 

# 客 户 端 请 求 头 部 的 缓冲 区 大 小 ,这 个 可 以 根据 系统 分 页 大 小 来 设置 ,一 般 一 个 请 求 的 头 部 大 小 不 
# 会 超过 1KB 

# 不 过 由 于 一 般 系统 分 页 都 要 大 于 1KB, 所 以 这 里 设置 为 分 页 大 小 。 分 页 大 小 可 以 用 命令 getconf 
# PAGESIZE 取得 

open file cache max = 102400 inactive = 20s; 

# 这 个 将 为 打开 文件 指定 缓存 ,默认 是 没有 启用 的 , max 指定 缓存 数量 ,建议 和 打开 文件 数 一 致 ， 
# inactive 是 指 经 过 多 长 时 间 文 件 没 被 请 求 后 删除 缓存 


open file cache valid 30s; 
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井 这 个 是 指 多 长 时 间 检 查 一 次 缓存 的 有 效 信息 

open file cache nin uses 1; 

X open file cache 指令 中 的 inactive 参数 时 间 内 文件 的 最 少 使 用 次 数 , 如 果 超 过 这 个 数字 ,文件 描 
# 述 符 一 直 是 在 缓存 中 打开 的 ,如 上 例 ,如 果 有 一 个 文件 在 inactive 

井 包含 其 他 配置 文件 ,如 自 定义 的 虚拟 主机 


include vhosts. conf; 





14.6 Nginx 配置 文件 优化 二 


Nginx Web 默认 发 布 静态 页 面 , 也 可 以 均衡 后 端 动态 页 面 。 用 户 发 起 HTTP 请 求 , 如 
果 请 求 为 静态 页 面 , Nginx 直接 处 理 并 返回 ,如 果 请 求 的 是 动态 页 面 ,Nginx 收 到 请 求 之 后 
会 进行 判断 , 转 到 后 端 服务 器 去 处 理 。 

Nginx 实现 负载 均衡 需要 基于 upstream 模块 ,同时 需要 设置 location proxy. pass 转发 
指令 实现 。 

以 下 为 Ningx 应 用 负载 均衡 集群 配置 ,根据 后 端 实际 情况 修改 即 可 ,jfedu_www 为 负 
载 均衡 模块 的 名 称 , 可 以 任意 指定 .但 必须 跟 vhosts. conf, nginx. conf 虚拟 主机 的 proxy_ 
pass 段 保持 一 致 ,否则 不 能 将 请 求 转发 至 后 端的 服务 器 ,weight 表示 配置 权重 ,在 fail | 
timeout 内 检查 max fails 次 数 , 失 败 则 剔除 均衡 。 代 码 如 下 : 


upstream jfedu www { 
server 127.0.0.1:8080 weight = 1 max fails=2 fail timeout = 30s; 
server 127.0.0.1:8081 weight = 1 max fails = 2 fail timeout = 30s; 
} 
# 虚 拟 主 机 配置 
server { 

+ WMT 80 端口 

listen 80; 

# 定 义 使 用 waw. jfedu. net 访问 

server name www. jfedu. net; 

# 设 定 本 虚拟 主机 的 访问 日 志 

access log logs/access. log main; 

root /data/webapps/www; 并 定义 服务 器 的 默认 网 站 根 目录 位 置 

index index.php index. html index. htm; 并 定义 首页 索引 文件 的 名 称 

# 上 默认 请 求 

location ~ /{ 
root /data/webapps/www; 并 定义 服务 器 的 默认 网 站 根 目录 位 置 
index index.php index.html index.htm; 并 定义 首页 索引 文件 的 名 称 
# 以 下 是 一 些 反 向 代理 的 配置 

proxy next upstream http 502 http 504 error timeout invalid header; 

# 如 果 后 端的 服务 器 返回 502.504、 执 行 超 时 等 错误 , 自动 将 请 求 转发 到 upstream 负载 均 

# 衡 池 中 的 另 一 台 服 务 器 ,实现 故障 转移 
proxy redirect off; 
# 后 端的 Web 服务 器 可 以 通过 X- Forwarded - For 获取 用 户 真实 IP 
proxy set header Host $host; 
proxy set header X- Real- IP $remote addr; 
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} 
} 


通过 expires 参数 设置 ,可 以 在 浏览 器 缓存 静态 文件 ,从 而 减少 用 户 与 服务 器 之 间 的 请 
求 和 流量 。 具 体 expires 定义 是 给 一 个 资源 设 定 一 个 过 期 时 间 ,浏览 器 无 须 去 服务 端 下 载 资 


proxy set header X- Forwarded- For $proxy add x forwarded for; 
proxy pass http://jfedu www; A 请 求 转向 后 端 定义 的 均衡 模块 
} 

# 定 义 错误 提示 页 面 
error page 500 502 503 504 /50x. html; 
location = /50x. html { 
root html; 

} 

# 配置 Nginx 动静 分 离 ,定义 的 静态 页 面 直接 从 Nginx 发 布 目录 读 取 

location ~ . * V. (html|htn|gi£f| jpg] jpeg | bmp| png| ico| txt| js| css) $ 

{ 
root /data/webapps/www; 
# expires 定义 用 户 浏览 器 缓存 的 时 间 为 3 天 , 如 果 静 态 页 面 不 常 更 新 ,可 以 设置 更 
# 长 ,这 样 可 以 节省 带宽 和 缓解 服务 器 的 压力 ,在 浏览 器 保存 该 类 型 文件 的 天 数 
expires 3d; 

} 

# PHP 脚本 请 求全 部 转发 到 FastCGI 处 理 .使 用 FastCGI 默认 配置 

location ~ \. php ${ 
root /root; 
FastOGI pass 127.0.0.1:9000; 
FastCGI index index.php; 
FastOGI param SCRIPT FILENAME /data/webapps/www $FastCGI script name; 
include FastCGI params; 

) 

# 设 定 查看 Nginx 状态 的 地 址 

location /NginxStatus { 
stub status on; 


) 


源 ,直接 通过 浏览 器 自身 确认 是 否 过 期 即 可 ,所 以 不 会 产生 额外 的 流量 。 


如 果 静 态 文 件 不 常 更 新 ,expires 可 以 设置 为 30d, 表 示 在 这 30 天 之 内 再 次 访问 该 静态 
文件 ,浏览 器 会 发 送 一 个 HTTP 请 求 , 会 比 对 服务 器 该 文件 最 后 更 新 时 间 是 否 有 变化 ,如 果 
没有 变化 , 则 不 会 从 服务 器 抓 取 ,返回 HTTP 状态 码 304, 如 果 有 修改 , 则 直接 从 服务 器 重 


新 下 载 ,返回 HTTP 状态 码 200。 


14.7 Nginx 虚拟 主机 实战 


在 真实 的 企业 服务 器 环境 中 ,为 了 充分 利用 服务 器 的 资源 , 单 台 Nginx Web 服务 器 同 
时 会 配置 N 个 网 站 ,也 可 称 之 为 配置 N 个 虚拟 域名 的 主机 , 即 多 个 域名 对 应 同一 个 80 


端口 。 


在 Nginx. conf 中 加 入 server 代码 ,Nginx 虚拟 主机 配置 代码 如 下 : 
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worker processes 1; 
events { 
worker connections 1024; 
) 
http { 
include mime. types; 
default type application/octet - stream; 
sendfile on; 
keepalive timeout 65; 
# virtual hosts config 2017/5/18 
server { 
listen 80; 
server name www. jfl.com; 
access log logs/jf1.access. log; 
location / { 
root  htnl/jfl; 
index index. html index. htm; 


server { 
listen 80; 
server name www. jf2. com; 
access log logs/jf2.access. log; 
location / { 
root  html/jf2; 
index index. html index. htm; 


} 
} 


创建 两 个 不 同 的 目录 mkdir -p /usr/local/nginx/html/{jf1.jf2} ,然后 分 别 在 两 个 目录 


创建 两 个 不 同 的 index. html 网 站 页 面 即 可 。 通 过 Windows 客户 端 配置 hosts 绑 定 IP 与 两 
个 域名 的 对 应 关系 ,在 TE 浏览 器 访问 测试 效果 ,如 图 14-4 所 示 。 


www.jfi.com Welcome to nginx! 


If you see this page, the nginx web server is successfully installed and 
working. Further configuration is required. 

For online documentation and support please refer to nginx.org. 
Commercial support is available at nginx.com. 

Thank you for using nginx. 


(a) Nginx 虚 拟 主 机 wwwjfl.com 


图 14-4 IE 浏 览 器 访问 测试 效果 
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www.jf2.com Welcome to nginx! 


If you see this page, the nginx web server is successfully installed and 
working. Further configuration is required. 

For online documentation and support please refer to nginx.org. 
Commercial support is available at nginx.com. 

Thank you for using nginx. 


(b) Nginx 虚 拟 主机 wwwjP.com 


图 14-4 (4B) 


14.8 Nginx location 深入 剖析 


Nginx 由 内 核 和 模块 组 成 ,其 中 内 核 的 设计 非常 微小 和 简洁 ,完成 的 工作 也 非常 简单 ， 
仅 是 通过 查找 配置 文件 将 客户 端的 请 求 映射 到 一 个 location block, 而 location 是 Nginx 配 
置 中 的 一 个 指令 ,用 于 访问 的 URL 匹配 ,而 在 这 个 location 中 所 配置 的 每 个 指令 将 会 启动 
不 同 的 模块 去 完成 相应 的 工作 。 

默认 nginx. conf 配置 文件 中 至 少 存在 一 个 location /, 即 表示 客户 端 浏览 器 请 求 的 
URL 为 域名 十 “/”, 如 果 location /newindex/ , 则 表示 客户 端 浏览 器 请 求 的 URL 为 域名 十 
“/newindex/”。 常 见 location 匹配 URL 的 方式 如 下 : 

a =, 字面 精确 匹配 。 
“一 : 最 大 前 级 匹配 。 
/: 不 带 任 何 前 级 。 
~: 大 小 写 相关 的 正则 匹配 。 
一 * : 大 小 写 无 关 的 正则 匹配 。 
@: location 内 部 重 定向 的 变量 。 

其 中 location 一 “一 、/ 属 于 普通 字符 串 匹配 ,location ~~ * 属于 正则 表达 式 匹配 ， 
location 优先 级 与 其 在 nginx. conf 配置 文件 中 的 先后 顺序 无 关 。 

location 二 精确 匹配 会 第 一 个 被 处 理 ,如 果 发 现 精确 匹配 ,Nginx 则 停止 搜索 其 他 任何 
location 的 匹配 。 

普通 字符 匹配 ,正则 表达 式 规 则 和 完整 URL 规则 将 被 优先 查询 匹配 “一 为 最 大 前 绥 
匹配 ,如果 匹 配 到 该 规则 ,Nginx 则 停止 搜索 其 他 任何 location 的 匹配 ,否则 Nginx 会 继续 
处 理 其 他 location 指令 。 
正则 匹配 “一 ”和 “一 * ”, 如 果 找 到 相应 的 匹配 , 则 Nginx 停止 搜索 其 他 任何 location 的 
匹配 ; 当 没 有 正则 表达 式 或 者 没有 正则 表达 式 被 匹配 的 情况 下 ,那么 匹配 程度 最 高 的 逐 字 
匹配 指令 会 被 使 用 。 
location 规则 匹配 优先 级 总 结 如 下 : 
(location =) > (location 完整 路 径 ) > (location “一 路 径 ) > (location 一 或 一 * IE 


oO O Uu tU 





14 Non Web 服 务 中 企业 实战 > 24 


则 顺序 ) > (location 部 分 起 始 路 径 ) > (locaton/) 
以 下 为 Nginx location 规则 案例 演示 : 


location = / { 
[ configuration L1 ] 
# 只 会 匹配 /, 优 先 级 比 location / 低 
} 
location = /index. html { 
[ configuration L2 ] 
# 内 会 匹配 /index. html, 优先 级 最 高 
} 
location / ( 
[ configuration L3 ] 
H 匹配 任何 请 求 ,因为 所 有 请 求 都 是 以 “/" 开 始 
# 但 是 更 长 字符 匹配 或 者 正则 表达 式 匹 配 会 优先 匹配 ,优先 级 最 低 
} 
location = /images/ { 
[ configuration L4 ] 
# 匹配 任何 以 /images/ 开 始 的 请 求 ,并 停止 匹配 其 他 Location 
} 
location ~ * V. (html|txt|gif|jpg|jpeg)${ 
[ configuration L5] 
* 匹配 以 html txt gif. jpg. jpeg 结尾 的 URL 文件 请 求 
* 但 是 所 有 /images/ 目 录 的 请 求 将 由 [configuration L4] 处 理 
} 


浏览 器 发 起 HTTP request URI 案例 与 location 规则 案例 匹配 如 下 : 

a /一 > 匹配 configuration L3; 

Q /index. html 匹配 configuration L2; 

o /images/VU B configuration L4; 

Q /images/logo. png 匹配 configuration L4; 

a /img/test. jpg 匹配 configuration L5, 

企业 生产 环境 中 无 须 在 nginx. conf 配置 文件 中 同时 添加 5 种 规则 匹配 ,以 下 为 企业 生 
产 环境 Nginx location 部 分 配置 代码 : 


location / 
{ 
root /var/www/htm1/; 
expires 60d; 
} 
location ~ . «X. (gif | jpg] Jeeg| bap] png| ico|txt|js|css)$ 
{ 
root /var/www/htm1/; 
expires 60d; 
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location ~ . » \. (jsp|php|cgi|do)$ 
{ 
root /var/www/htm1/; 
proxy pass http://linux web; 
proxy http version 1.1; 
proxy set header Connection ""; 
proxy set header Host $host; 
proxy set header X- Real- IP $remote addr; 
proxy set header X — Forwarded- For $proxy add x forwarded for; 
} 
location = /newindex. html 
{ 
root /var/www/ newwww/ ; 
expires 60d; 


14.9 企业 实战 Nginx 动静 分 离 架 构 


Nginx 动静 分 离 简 单 来 说 是 把 动态 跟 静 态 请 求 分 开 ,不 能 理解 成 只 是 单纯 地 把 动态 页 
面 和 静态 页 面 物理 分 离 。 严 格 意义 上 说 应 该 是 动态 请 求 跟 静 态 请 求 分 开 , 可 以 理解 成 使 用 
Nginx 4b FH ff AS 9i ii. Tomcat Resin, PHP, ASP 处 理 动态 页 面 。 

动静 分 离 从 实现 角度 来 讲 大 致 分 为 两 种 : 一 种 是 纯粹 地 把 静态 文件 独立 成 单独 的 域 
名 , 放 在 独立 的 服务 器 上 ,也 是 目前 主流 推崇 的 方案 ; 另外 一 种 方法 就 是 动态 跟 静 态 文件 混 
合 在 一 起 发 布 , 通 过 Nginx 来 分 开 。 

Nginx 线 上 Web 服务 器 动静 分 离 及 nginx. conf 完整 配置 文件 代码 如 下 : 


user WWW WWW; 
worker processes 8; 
worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 
pid /usr/local/nginx/nginx. pid; 
worker rlimit nofile 102400; 
events 
{ 
use epoll; 
worker_connections 102400; 
} 
http 
{ 
include mime. types; 
default type application/octet - stream; 
FastCGI intercept errors on; 
charset utf - 8; 
server names hash bucket size 128; 
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client header buffer size 4KB; 
large client header buffers 4 32KB; 


client max body size 300MB; 


sendfile on; 
tcp nopush on; 
keepalive timeout 60; 

tcp nodelay on; 

client body buffer size 
proxy connect timeout 
proxy read timeout 
proxy send timeout 

proxy buffer size 

proxy buffers 

proxy busy buffers size 
proxy temp file write size 
gzip on; 

gzip min length 
gzip buffers 

gzip http version 
gzip comp level 

gzip types 

gzip vary on; 


log format main ' $remote addr 一 


1KB; 
4 16KB; 
1.1; 

2; 


'$status $body bytes sent "$http referer" ' 
'"$http user agent" $request time'; 


upstream jvm webl { 


server 

server 
) 
include vhosts. conf; 
) 


以 下 为 vhosts. conf 配置 文件 中 的 内 容 : 


server 
{ 
listen 80; 


server name www. jf1. com; 


index index. jsp index. html index. htm; 


root /data/webapps/wwwl ; 
location / 


{ 


text/plain application/x- javascript text/css application/xml; 


$remote user [ $time local] "$request" ' 


192.168.149.130:8080 weight- 1 max fails -2 fail timeout - 30s; 
192.168.149.130:8081 weight = 1 max fails = 2 fail timeout = 30s; 


proxy next upstream http 502 http 504 error timeout invalid header; 
proxy set header Host $host; 

proxy set header X- Real- IP $remote addr; 
proxy set header X- Forwarded- For $proxy add x forwarded for; 


proxy pass http://jvm webl; 
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} 
location ~ . * V. (php| jsp|cgi| shtml) ?$ 
{ 

proxy_set_header Host $host; 

proxy set header X- Real - IP $remote_addr; 

proxy set header X- Forwarded- For $proxy add x forwarded for; 

proxy pass http://jvm webl; 

) 
location ~ . x V. (html|htm|gif| jpg] jpeg| bmp| png| ico|txt|js|css)$ 
{ 

root /data/webapps/wwwl ; 

expires 30d; 


access log /data/logs/jvm webl/access.log main; 
error log /data/logs/jvm webl/error.log crit; 
) 
配置 文件 代码 中 location ~. * V. (phpljsp| cgil shtml) 表 示 匹 配 动态 页 面 请 求 , 然 后 将 请 
求 proxy. pass 到 后 端 服务 器 ,而 location 一 . * V. (html|htm| gif! jpg! jpeg |icojtxtljsless) 表 示 
匹配 静态 页 面 请 求 本 地 返回 。 
检查 Nginx 配置 是 否 正确 即 可 ,然后 测试 动静 分 离 是 否 成 功 ,在 192. 168. 149. 130 服 
务 器 启动 8080,8081 Tomcat 服务 或 者 LAMP 服务 ,删除 后 端 Tomcat 或 者 LAMP 服务 器 
上 的 某 个 静态 文件 ,测试 是 否 能 访问 该 文件 ,如 果 可 以 访问 , 则 说 明 静 态 资源 通过 Nginx 直 
接 返回 了 ,如 果 不 能 访问 , 则 证 明 动 静 分 离 不 成 功 。 


14.10 企业 实战 LNMP 高 性 能 服务 器 


公共 网 关 接 口 (common gateway interface. CGD ,是 HTTP 服务 器 与 本 机 或 者 其 他 机 
器 上 的 程序 进行 通信 的 一 种 工具 ,其 程序 需 运 行 在 网 络 服务 器 上 。 

CGI 可 以 用 任何 一 种 语言 编写 ,只 要 这 种 语言 具有 标准 输入 .输出 和 环境 变量 , 如 
PHP,Perl, TCL 等 。 

FastCGI 为 Web 服务 器 与 处 理 程序 之 间 通 信 的 一 种 协议 (App server 和 Web server 之 
间 的 通信 协议 ) ,是 CGI 的 改进 方案 。CGI 程序 反复 加 载 是 CGI 性 能 低下 的 主要 原因 ,如 果 
CGI 程序 保持 在 内 存 中 并 接受 FastCGI 进程 管理 器 调度 , 则 可 以 提供 良好 的 性 能 、 伸 缩 性 、 
Fail-Over 特性 等 。FastCGI 是 常 驻 型 的 CGI, 它 可 以 一 直 运 行 , 在 请 求 到 达 时 ,不 会 花费 时 
间 去 fork 一 个 进程 来 处 理 。 

FastCGI 是 语言 无 关 的 、 可 伸缩 架构 的 CGI 开放 扩展 ,将 CGI 解释 器 进程 保持 在 内 存 
中 ,以 此 获得 较 高 的 性 能 。FastCGI 是 一 个 协议 ,PHP-FPM 实现 了 这 个 协议 ,PHP-FPM 的 
FastCGI 协议 需要 有 进程 池 ,PHP-FPM 实现 的 FastCGI 进程 叫 PHP-CGI, 所 以 PHP-FPM 
其 实 是 它 自身 的 FastCGI 或 PHP-CGI 进程 管理 器 ,如 图 14-5 所 示 。 
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图 14-5 Nginx 十 FastCGI 通信 原理 图 


企业 级 LNMP(Nginx 十 PHP(FastCGD 十 MySQL) 主 流 架 构 配 置 方法 如 下 ,分 别 安装 
Nginx,MySQL,PHP 服务 ,具体 步 又 如 下 ; 
(1) Nginx 安装 配置 ,代码 如 下 : 


wget -c http://nginx. org/download/nginx- 1.12.0. tar.gz 

tar - xzf nginx- 1.12.0. tar.gz 

cd nginx- 1.12.0 

useradd www ; ./configure -- user = www -- group = www -- prefix- /usr/local/nginx -- with 一 
http stub status module -- with - http ssl module 

make 

make install 


(2) MySQL 安装 配置 ,代码 如 下 : 


yum install cmake ncurses - devel ncurses -y 

wget http: //downl. chinaunix. net/distfiles/mysql - 5.5.20. tar. gz 
tar - xzf nysql- 5.5.20. tar.gz 

cd mysql - 5 - 5.20 

cmake . — DCMAKE INSTALL PREFIX= /usr/local/mysq155 V 
- DMYSQL UNIX ADDR- /tmp/mysql. sock V 

— DMYSQL DATADIR = /data/mysql V 

- DSYSCONEDIR = /etc V 

— DMYSQL USER = mysql V 

— DMYSQL TCP PORT = 3306 V 

— DWITH XTRADB STORAGE ENGINE = 1 V 

—DWITH INNOBASE STORAGE ENGINE = 1 V 

— DWITH PARTITION STORAGE ENGINE = 1 V 

— DWITH BLACKHOLE STORAGE ENGINE = 1 V 

— DWITH MYISAM STORAGE ENGINE = 1 V 

— DWITH_READLINE = 1 V 

— DENABLED LOCAL INFILE- 1 V 

— DWITH EXTRA CHARSETS = 1 V 
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— DDEFAULT CHARSET = utf8 V 

— DDEFAULT_COLLATION = utf8 general ci V 
— DEXTRA CHARSETS = all V 
—DWITH BIG TABLES = 1 V 

— DWITH DEBUG = 0 

make 

make install 


(3) PHP 安装 配置 ,代码 如 下 : 


wget http: //museun. php. net/php5/php - 5.3. 10.tar.gz 

yum - y install gd curl curl - devel libjpeg libjpeg - devel libpng libpng - devel freetype 
freetype - devel libxml2 libxml2 - devel 

cd php - 5.3.10 

./configure -- prefix- /usr/local/php5 -- enable- fpm -- enable- debug -- with- gd -- with 
- jpeg- dir -- with- png- dir -- with- freetype- dir -- enable - mbstring -- with- curl —— 
with- mysql = /usr/local/mysql5/ - - with - mysqli = /usr/local/mygl5/bin/mysql config -- 
with- config- file- path = /usr/local/php5/etc 

make 

make install 

cp php. ini — development ^ /usr/local/php5/etc/php. ini 

cp /usr/local/php5/etc/php - fpm. conf. default /usr/local/php5/etc/php - fpm. conf 
/usr/local/php5/sbin/php - fpm 

cp sapi/fpm/init.d. php- fpm /etc/init.d/php- fpm 


(4) Nginx 配置 文件 配置 ,代码 如 下 : 


server ( 
include port. conf; 
server name www. jfedu. net jfedu. net; 
location / ( 

index index. html index. php; 

root /usr/local/nginx/html; 

) 

location ~ \. php ${ 
root html; 
FastCGI pass 127.0.0.1:9000; 
FastOGI index index. php; 
FastOGI param SCRIPT_FILENAME html $FastCGI script name; 
include FastCGI params; 


} 
(5) 测试 LNMP 架构 测试 ,创建 index. php 测试 页 面 ,如 图 14-6 所 示 。 
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图 14-6 LNMP 企业 实战 测试 页 面 


14.11 Nginx rewrite 规则 详解 


rewirte 规则 也 称 为 规则 重 写 ,主要 功能 是 实现 浏览 器 访问 HTTP URL 的 跳 转 ,其 正 
则 表达 式 是 基于 Perl 语言 。 通 常 而 言 ,几乎 所 有 的 Web 服务 器 均 可 以 支持 URL 重 写 。 
rewrite URL 规则 重 写 的 用 途 如 下 : 

a 对 搜索 引擎 优化 (search engine optimization ,SEO) 友 好 ,利于 搜索 引擎 抓 取 网 站 

页 面 ; 

a 隐藏 网 站 URL 真实 地 址 .浏览 器 显示 更 加 美观 ; 

a 网 站 变更 升级 ,可 以 基于 rewrite 临时 重 定向 到 其 他 页 面 。 

Nginx rewrite 规则 使 用 中 有 3 个 概念 ,分 别 是 rewrite 结尾 标识 符 rewrite 规则 常用 表 
达 式 Nginx rewrite 变量 ,3 个 概念 的 详解 如 下 : 

(1) Nginx rewrite 结尾 标识 符 , 用 于 rewrite 规则 末尾 ,表示 规则 的 执行 属性 ,详解 
如 下 : 
last: 相当 于 Apache 里 的 (L) 标 记 , 表 示 完 成 rewrite 匹配 。 
break; 本 条 规则 匹配 完成 后 ,终止 匹配 ,不 再 匹配 后 面 的 规则 。 
redirect; 返回 302 临时 重 定 向 ,浏览 器 地 址 会 显示 跳 转 后 的 URL 地 址 。 
permanent; 返回 301 永久 重 定向 ,浏览 器 地 址 栏 会 显示 跳 转 后 的 URL 地 址 。 
其 中 last 和 break 用 来 实现 URL 重 写 时 ,浏览 器 地 址 栏 URL 地 址 不 变 。 
(2) Nginx rewrite 规则 常用 表达 式 ,主要 用 于 匹配 参数 .字符 串 及 过 滤 设 置 ,详解 如 下 : 
o.: 匹配 任何 单字 符 。 
o [word]; 匹配 字符 串 word. 


a 
a 
a 
a 
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[^ word]: 不 匹配 字符 串 word, 
jfedu|jfteach: 可 选择 的 字符 串 jfedu |jfteach。 
?: 匹配 0 一 1 个 字符 。 

* : 匹配 0 到 多 个 字符 。 

十 : 匹配 1 到 多 个 字符 。 

^i 字符 串 开 始 标志 。 

$ : 字符 串 结束 标志 。 

Vni 转 义 符 标 志 。 


(3) Nginx rewrite 变量 ,常用 于 匹配 HTTP 请 求 头 信息 ,浏览 器 主机 名 、URL 等 ,具体 
内 容 如 下 : 

HTTP headers: HTTP_USER_AGENT, HTTP. REFERER, HTTP |. COOKIE. 
HTTP_HOST, HTTP_ACCEPT. 

connection & request; REMOTE ADDR.QUERY STRING, 

server internals; DOCUMENT ROOT.SERVER PORT.SERVER PROTOCOL, 

system stuff; TIME YEAR. TIME MON.TIME DAY. 

详解 如 下 : 


D O D D DD oo OD O oo OOD 


HTTP USER AGENT: 用 户 使 用 的 代理 ,例如 浏览 器 。 
HTTP_REFERER: 告知 服务 器 ,从 哪个 页 面 来 访问 的 。 
HTTP COOKIE: 客户 端 缓 存 , 主 要 用 于 存储 用 户 名 和 密码 等 信息 。 
HTTP_HOST, 匹配 服务 器 servername 域名 。 

HTTP ACCEPT: 客户 端的 浏览 器 支持 的 MIME 类 型 。 
REMOTE_ADDR; 客户 端的 IP 地址。 

QUERY STRING; URL 中 访问 的 字符 串 。 
DOCUMENT_ROOT: 服务 器 发 布 目录 。 
SERVER_PORT: 服务 器 端口 。 

SERVER PROTOCOL: 服务 器 端 协议 。 

TIME YEAR: 年 。 

TIME MON: JH. 

TIME DAY; H. 


(4) Nginx rewrite 以 下 配置 均 配 置 在 nginx. conf 或 者 vhosts. conf 中 ,企业 中 常用 的 
Nginx rewrite 案例 如 下 : 


口 


将 jfedu. net 跳 转 至 www. jfedu. net ,代码 如 下 : 


if ($host = 'jfedu.net') { 


) 


rewrite ^/(. * )$http://www. jfedu. net/$1 permanent; 
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a 访问 www.jfedu. net 跳 转 www. test. com/new. index. html, 代 码 如 下 : 
rewrite — ^/Shttp://www. test. con/ index01. html permanent; 


a 访问 /jfedu/test01/ 跳 转 至 /newindex. html. 浏 览 器 地 址 不 变 ,代码 如 下 : 


rewrite “/jfedu/test01/$ /newindex. html last; 


a 多 域名 跳 转 到 www. jfedu. net, 代 码 如 下 : 


if ( $host != ‘www. jfedu. net") { 
rewrite ^/(. * )Shttp://www. jfedu. net/$1 permanent; 
) 


a 访问 文件 和 目录 不 存在 跳 转 至 index. php ,代码 如 下 : 


if ( ! -e $request filename ) 
{ 
rewrite ^/(. * )$/index. php last; 


} 

o 目录 对 换 /xxxx/123456 之 /xxxx? id 一 123456 ,代码 如 下 : 
rewrite ^/(. *)/ (Nd) /$1?id= $2 last; 

a 判断 浏览 器 user agent 跳 转 ,代码 如 下 : 


if( $http user agent ~ MSIE) 
{ 

rewrite *(. * )$/ie/$1 break; 
} 


a 禁止 访问 以 . sh,. flv.. mp3 为 文件 后 绥 名 的 文件 ,代码 如 下 : 


location ~ . * V. (sh|flv|mp3)$ 
{ 


return 403; 


) 
a 将 移动 用 户 访问 跳 转 至 移动 端 ,代码 如 下 : 


if ( $http user agent ~ * "(Android) | (iPhone) | (Mobile) | (WAP) | (UCWEB) " ) 
{ 

rewrite */$ http: //m. jfedu. net/ permanent; 

} 


a 匹配 URL 访问 字符 串 跳 转 ,代码 如 下 : 


if ( $args ~ * tid=13)( 
return 404; 
) 
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a 访问 /10690/jfedu/123 跳 转 至 /index. php? tid/10690/items = 123. [0-9 ] d zs 1E 3& 
个 数字 ,十 表示 多 个 ,(. 十 ) 表 示 任 何 多 个 字符 ,代码 如 下 : 


rewrite ^/([0- 9] + )/jfedu/(. +)$ /index. php?tid/$1/items = $2 last; 





14.12 Nginx Web 日 志 分 析 


在 企业 服务 器 运 维 中 , 当 Nginx 服务 器 正常 运行 后 ,SA 会 经 常 密切 关注 Nginx 的 访问 
日 志 ,发 现 有 异常 的 日 志 信息 需要 进行 及 时 处 理 。 

Nginx 默认 日 志 路 径 /usr/local/nginx/logs/ ,其 中 包含 访问 日 志 access. log 和 错误 记 
录 日 志 error. log, 查 看 Nginx 访问 日 志 cat /usr/local/nginx/logs/access. log | more. 如 
图 14-7 所 示 。 








图 14-7 Nginx 访问 日 志 信息 


Nginx 访问 日 志 打 印 的 格式 可 以 自 定义 ,例如 Nginx 日 志 打印 格式 配置 ,log_format 用 
来 设置 日 志 格式 ,name 为 模块 名 ,type 为 日 志 类 型 ,可 以 配置 多 个 日 志 模 块 ,分 别 供 不 同 的 
虚拟 主机 日 志 记 录 所 调用 ,代码 如 下 : 





log format main ' $remote addr — $remote user [ $time local] "$request 
'$status $body bytes sent "$http referer" ' 
' $http user agent" $request time'; 
Nginx 日 志 格式 内 部 变量 及 函数 参数 说 明 如 下 : 
$remote_addr: 记录 客户 端 IP 地 址 。 
$server_name: 虚拟 主机 名 称 。 
Shttp x forwarded for; HTTP 请 3 
Sremote user; 记录 客户 端 用 户 名 称 。 
Srequest; 记录 请 求 的 URL 和 HTTP 协议 。 
$status: 记录 返回 HTTP 请 求 的 状态 。 
upstream 的 状态 。 
协议 版 本 。 


i 真实 的 IP. 





Suptream status; 


D D D D D D D 0 






$ssl_protocol: S$ 


第 14 章 ”Nginx Web 服 务 器 企业 实战 |» 255 


$body_bytes_sent: 发 送 给 客户 端的 字 节 数 .不 包括 响应 头 的 大 小 。 
$bytes_sent: 发 送 给 客户 端的 总 字 节 数 。 
$connection_requests: 当前 通过 一 个 连接 获得 的 请 求 数量 。 
$http_referer: 记录 从 哪个 页 面 链接 访问 过 来 的 。 
$http_user_agent: 记录 客户 端 浏览 器 相关 信息 。 
$request_length: 请 求 的 长 度 , 包 括 请 求 行 . 请 求 头 和 请 求 正文 。 
$msec: 日 志 写 入 时 间 。 
$request_time: 请 求 处 理 时间 ,单位 为 s, 精 度 为 ms,Nginx 接受 用 户 请 求 的 第 一 个 
字 节 到 发 送 完 响应 数据 的 时 间 , 包 括 接收 请 求 数据 时 间 、 程 序 响应 时 间 、 输 出 、 响 应 
数据 时 间 。 
a Supstream response time; 应 用 程序 响应 时 间 , Nginx 向 后 端 服 务 建立 连接 开始 到 
接受 完 数据 然后 关闭 连接 为 止 的 总 时 间 。 
通过 Nginx 日 志 , 可 以 简单 分 析 Web 网 站 的 运行 状态 、 数 据 报表 、IP、UV (unique 
visitor) ,PV (page view) 访 问 量 等 需求 ,以 下 为 常用 需求 分 析 : 
(1) 统计 Nginx 服务 器 独立 IP 数 ,代码 如 下 : 


Do DO D DDD D 


awk '(print $1}' access. log |sort - r|uniq -c | wc -1 

(2) 统计 Nginx 服务 器 总 PV 量 ,代码 如 下 : 

awk '(print $7}'access. log |wc -1 

(3) 统计 Nginx 服务 器 UV 统计 ,代码 如 下 : 

awk '(print $11}' access. log [sort -r|uniq -c |wc - 1 

(4) 分 析 Nginx 访问 日 志 截 至 目前 为 止 访问 量 前 20 的 IP 列表 ,代码 如 下 : 
awk '(print $1}' access. log|sort |uniq -c |sort -nr |head - 20 

(5) 分 析 Nginx 访问 日 志 早 上 9 点 至 中 午 12 点 的 总 请 求 量 , 代 码 如 下 : 


sed - n "/2016:09:00/, /2016:12:00/"p access. log 
awk '/2017:09:00/, /2017:12:00/' access. log| wc -1 


(6) 分 析 Nginx 访问 日 志 总 的 独立 IP 数 ,代码 如 下 : 
awk '(print $1}' access. log | sort |uniq -clwc - 1 

(7) 分 析 Nginx 访问 日 志 截 至 目前 为 止 访问 量 前 20 的 IP 列表 ,代码 如 下 : 
awk '{print $1}' access. log|sort |uniq - c |sort -nr |head - 20 


(8) 分 析 Nginx 访问 日 志 截 至 目前 为 止 访问 量 前 20 的 IP 列表 ,代码 如 下 : 





awk '(print $1]'access.log|sort |uniq -c |sort -nr |head - 20 
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(9) 分 析 Nginx 访问 日 志 状 态 码 404,502,503,500,499 等 错误 信息 页 面 ,打印 错误 出 
现 次 数 大 于 20 的 IP 地 址 ,代码 如 下 : 


awk '(if ( $9~/502|499|500|503|404/) print $1, $9}' access. log| sort | uniq -c | sort -nr | awk 
'(if( $1220) print $2}' 


(10) 分 析 Nginx 访问 日 志 访 问 最 多 的 页 面 , 代 码 如 下 : 
awk '(print $7)' access. log |sort |uniq - cl sort - nr|head - 20 


(11) 分 析 Nginx 访 问 日 志 请 求 处 理 时 间 大 于 5s 的 URL, 并 打印 出 时 间 、URL, 访 客 
IP ,代码 如 下 : 


awk '(if ($NF>5) print $NF, $7, $1}' access. log| sort - nr|more 


14.13 Nginx 日 志 切 割 案 例 


Nginx Web 服务 器 每 天 会 产生 大 量 的 访问 日 志 , 而 且 不 会 自动 地 进行 切割 ,如 果 持 续 
数 天 访问 ,将 会 导致 该 access. log 日 志文 件 容量 非常 大 ,不 便于 SA 查看 相关 的 网 站 异常 
Hak, 

可 以 基于 shell 脚本 结合 crontab 计划 任务 对 Nginx 日 志 进 行 自动 ,快速 的 切割 ,其 切 
割 的 方法 使 用 mv 命令 即 可 ,代码 如 下 ,详情 如 图 14-8 所 示 。 


#!/bin/bash 
# auto mv nginx log shell 
# by author jfedu. net 
S LOG = /usr/local/nginx/logs/access. log 
D LOG- /data/backup/'date + %Y%m%d' 
echo - e "\033[32mPlease wait start cut shell scripts...\033[1m" 
sleep 2 
if [ ! -d $D LOG ]; then 
mkdir -p $D LOG 
Ii 
mv $S LOG $D LOG 
kill - USR1 'cat /usr/local/nginx/logs/nginx. pid" 


echo "The Nginx log Cutting Successfully!" 
echo "You can access backup nginx log $D LOG/access. log files." 


将 以 上 脚本 内 容 写 人 auto. nginx log. sh 文件 ,crontab /var/spool/cron/root 文件 中 添 
加 如 下 代码 ,每 天 凌晨 自动 切割 日 志 。 


0 0 * * * /bin/sh /data/sh/auto_nginx_log. sh >>/tmp/nginx_cut. log 2» &1 
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r/local/nginx/lo 
YXmd 


33[32mP wait start cut shell scripts...\033[1m' 
wait start cut shell scripts 


5 小， 


-d /data/backup/2017052 
usr/local/nginx logs access.log /data/backup/20170525 


++ cat /usr/local/nginx 


ogs /nginx.pid 
+ kill -USR1 48 


"You can access backup nginx log /data/backup/20170525/access.1o 
You can access backup nginx log /data/backup/2017 ccess. log files 





图 14-8 Nginx 日 志 切 割 


14.14 Nginx 防盗 链 配 置 案例 


防盗 链 的 含义 是 网 站 内 容 本 身 不 在 自己 公司 的 服务 器 上 ,而 通 
他 公司 的 服务 器 网 站 数据 ,而 向 最 终 用 户 提 供 此 内 容 。 一 些小 网 
乐 .图片 .软件 的 链接 ,然后 放置 在 自己 的 网 站 中 ,通过 这 种 方法 
流量 。 
网 站 每 天 访问 量 很 大 ,而 且 占 用 了 很 多 不 必要 的 
制 措施 。 防 盗 链 其 实 就 是 采用 服务 器 端 编程 技术 ,通过 URL m Ë 
链 的 软件 

网 如 http://www. jfedu. net/linux/ 页 面 , 如 果 没 有 配置 防 资 
在 其 网 站 上 引用 该 页 面 。Nginx 防盗 链 配置 代码 如 下 : 





技术 手段 ,直接 调用 其 
i 盗用 高 访问 量 网 站 的 音 
双 高 访问 量 网 站 的 空间 和 














,别人 就 能 轻而易举 地 





server { 
listen 80; 
server name jfedu. net www. jfedu. net; 
location / { 
root html/b; 
index index.html index. htm; 
} 
location ~ * V. (gif|jpg|png| swf|flv)${ 
valid referers none blocked jfedu.net * . jfedu. net; 
root htnl/b; 
if ( $invalid_referers) { 
# rewrite ^/ http://www. jfedu. net/403. html; 
return 403; 


} 
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Nginx 防盗 链 参数 详解 如 下 : 

valid_referers: 表示 可 用 的 referers 设置 。 

none: 表示 没有 referers ,直接 通 过 浏览 器 或 者 其 他 工具 访问 。 

blocked: 表示 有 referers ,但 是 被 代理 服务 器 或 者 防火 墙 隐藏 。 

jfedu. net: 表示 通过 jfedu. net 访问 的 referers。 

o x ,jfedu. net; 表示 通过 * .jfedu. net 访问 的 referers. * 表示 任意 host EPL. 
除了 以 上 方法 ,按照 如 下 方法 设置 也 可 以 实现 防盗 链 : 


口 
a 
a 
a 


location ~ * \. (gif|jpglpng| sw£| £1v)$ 
if ( $host != ' x , jfedu. net') { 
return 403; 

) 

防盗 链 测试 , 找 另 外 一 台 测 试 服务 器 ,基于 Nginx 发 布 如 下 test. html 页 面 ,代码 如 下 ， 
去 调用 www. jfedu. net 官网 的 test. png 图 片 , 由 于 www. jfedu. net 官网 设置 了 防盗 链 ,所 
以 无 法 访问 该 图 片 。 

<html> 

< hl > TEST Nginx PNG </h1 > 

< ing src = "http: //www. jfedu. net/test. png"» 

«/htnl» 

默认 没有 配置 Nginx 防盗 链 ,网 站 正常 调用 www. jfedu. net 的 logo 图 片 ,访问 如 
图 14-9 所 示 。 


TEST Nginx PNG 
(g 京 峰 教育 
www. jfedu.net 


[m Ó] | Elements Console Sources Network Timeline Profiles Application Security Audits 











@ Gm W View SS = | Preservelog E Disablecache | (B Offline No throttling M 

[fuer Regex E Hide data URLs 图 XHR IS CSS img Media Font Doc WS Manifest Other 

= 50ms 100ms 150ms 200m. T 300ms 
Name Status Remote Address Type 

口 192168149128 20 | 192168149128.80 document 
|H testpng 200 13922422712180 png 


图 14-9 Nginx 无 防盗 链 正常 调用 图 片 


配置 Nginx 防盗 链 ,网 站 无 法 正常 调用 www. jfedu. net 的 logo 图 片 , 访 问 如 图 14-10 
Bim. 
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TEST Nginx PNG 
区 





民 Ó] | Bements Console Sources Network Timeline Profiles Application Security Audits 
© G m F | View = = |Ø Presevelog Ü Disablecache | (Ü Offline No throttling ` 
Fie |O Regex © Hide data URLs Í] xum IS CSS Img Media Font Doc WS Manifest Other 
| soms 100ms 150ms 200ms 250ms 300 ms 350 ms 4 





[E testpng 403 13922422712180 text/html 


图 14-10 Nginx 防盗 链 403 禁止 访问 


14.15 Nginx HTTPS 企业 实战 


超 文本 传输 安全 协议 (hyper text transfer protocol over secure socket layer. HTTPS). 
是 以 安全 为 目标 的 HTTP 通道 ,简单 来 说 就 是 HTTP 的 安全 版 。HTTPS 由 两 部 分 组 成 ， 
即 HTTP + SSL / TLS, #6 HTTP 基础 上 又 加 了 一 层 处 理 加 密 信息 的 模块 ,服务 端 和 客户 
端的 信息 传输 都 会 通过 TLS 进行 加 密 , 传 输 的 数据 都 是 加 密 后 的 数据 。 

为 了 解决 HTTP 协议 的 这 一 缺陷 ,需要 使 用 另 一 种 协议 HTTPS。 为 了 数据 传输 的 安 
全 ,HTTPS 在 HTTP 的 基础 上 加 入 了 SSL 协议 ,SSL 依靠 证 书 来 验证 服务 器 的 身份 ,并 为 
浏览 器 和 服务 器 之 间 的 通信 加 密 。 

SSL 证 书 是 一 种 数字 证 书 , 它 使 用 secure socket layer 协议 在 浏览 器 和 Web 服务 器 之 
间 建 立 一 条 安全 通道 ,从 而 实现 数据 信息 在 客户 端 和 服务 器 之 间 的 加 密 传 输 ,保证 双方 传递 
信息 的 安全 性 ,不 可 被 第 三 方 窃听 。 而 且 用 户 可 以 通过 服务 器 证 书 验证 他 所 访问 的 网 站 是 
否 真实 可 靠 。 

加 密 的 HTTP 传输 通道 ,浏览 器 访问 格式 为 https://url, 其 基于 HTTP 十 TLS, 现 被 
广泛 应 用 于 互联 网 上 安全 敏感 的 通信 ,例如 安全 登录 .订单 交易 .支付 结算 等 方面 。 

HTTPS fi HTTP 的 区 别 在 于 HTTP 协议 被 用 于 在 Web 浏览 器 和 网 站 服务 器 之 间 传 
递 信息 ,以 明文 方式 发 送 内 容 , 不 提供 任何 方式 的 数据 加 密 , 如 果 攻 击 者 截取 了 Web 浏览 器 
和 网 站 服务 器 之 间 的 传输 报 文 ,就 可 以 直接 读 懂 其 中 的 信息 。 因 此 HTTP 协议 不 适合 传输 
一 些 敏感 信息 ,比如 信用 卡号 .密码 等 。 

HTTPS 加 密 、 解 密 、 验 证 的 完整 过 程 如 图 14-11 所 示 。 

HTTPS 传输 过 程 的 8 个 步骤 内 容 详解 如 下 : 

CD 客户 端 发 起 HTTPS 请 求 ,用 户 在 浏览 器 里 输入 HTTPS 网 址 ,然后 连接 到 Nginx 
server 的 443 端口 。 


260 <| 曝光 : Linux 企 业 运 维 实战 


client server 


© request https://www.domain.com/ 
*"||ert private 

n i i @ 一 | 四 
validate = response with crt public (©) crt public 


display https warning 














[2] 


decrypt 
© transfer crypted random key E with 
=| private 
en 









































get key @ 
—— 
_ || decrypt response crypted content with clinet key — (7) crypt 
(8) || content | - content 
with key 9 with key 


图 14-11 HTTPS 传输 原理 


(2) 服务 器 端 采 用 的 HTTPS 协议 有 一 套数 字 证 书 ,该 证 书 可 以 自行 配置 ,也 可 以 向 证 
书 管理 组 织 去 申请 ,该 证 书 其 本 质 是 公 钥 和 私 钥 。 

G) 将 公 钥 传送 证 书 传递 给 客户 端 ,证 书包 含 了 很 多 信息 ,例如 证 书 的 颁发 机 构 , 过 期 
时 间 、 网 址 ` 公 钥 等 。 

OD 客户 端 解析 证 书 , 由 客户 端的 TLS 来 完成 ,首先 会 验证 公 钥 是 否 有 效 , 比 如 颁发 机 
构 ,过 期 时 间 等 ,如 果 发 现 异 常 , 则 会 弹出 警告 框 , 提 示 证 书 存在 问题 。 如 果 证 书 没 有 问题 ， 
就 会 生成 一 个 随机 值 ,然后 用 证 书 对 该 随机 值 进行 加 密 。 

(5) 将 证 书 加 密 后 的 随机 值 传 送 至 服务 器 ,让 服务 端 获取 该 随机 值 , 后 续 客 户 端 和 服务 
端的 通信 可 以 通过 该 随机 值 来 进行 加 密 解 密 。 

(6) 服务 端 用 私 钥 解 密 后 ,得 到 了 客户 端 传 过 来 的 随机 值 .然后 把 内 容 通 过 该 值 进行 对 
称 加 密 。 

(7) 服务 器 端 将 用 私 钥 加 密 后 的 信息 发 给 客户 端 。 

(8) 客户 端 用 之 前 生成 的 私 钥 来 解密 服务 端 发 送 过 来 的 信息 ,获取 解密 后 的 内 容 。 

HTTPS 证 书 申请 与 颁发 方法 如 下 : 

(1) 生成 HTTPS 证 书 ,可 以 使 用 openssl 生成 服务 端 RSA 密 钥 及 证 书 , 生 成 的 命令 如 
下 ,详情 如 图 14-12 所 示 。 


openssl genrsa - des3 - out server.key 1024 
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[rootenodei -j# openssl genrsa -des3 -out server.key 1024 
|Generating RSA private key, 1024 bit long modulus 
V 





e 
0x10001) 
rase for server .ke; 





s 
He 120:error:28069065:] ib 





b(40) :UI set result:result tc 
Tii-Mb.c:869:vou must type in 4 to 8191 characters 
Enter pass phrase for server.k 


139785688930120:error 28069065: bc4o): iUI set result:result tc 





14-12 openssl 生成 RSA 秘 钥 及 证 书 


(2) 创建 签名 请 求 的 证 书 (CSR) ,命令 如 下 ,详情 如 图 14-13 所 示 。 


openssl req - new 一 key server.key - out server.csr 


[rooténodel -]£ openssl req -new -key server.key -out server.csr 

Enter pass phrase for server.key: 

You are about to be asked to enter information that will be incorporated 
into your certificate request. 

what you are about to enter is what is called a Distinguished Name or a ON. 
There are quite a few fields but you can leave some blank 

For some fields there wil] be a default value, 

1f you enter '.', the field will be left blank. 


Country Name (2 letter code) Doc :CN 
State or Province Name (fu p ^n: wie 
Locality Name (eg, city) [Default S: BeiJing 2 
Organization Name (eg, company) [Default Company t td] : jfedu 
EL a Unit Name (eg, section) []:jfedu.net 

(eg, your name or your server’: š [em [1:jfedu.net 
Gaal adores’ T:n :Supportejfedu.net 


Please enter the following ‘extra’ attributes 
to be sent with your certificate request 

A challenge password []: 

An optional company name []:jfedu 


图 14-13 openssl 创建 签名 请 求证 书 


(3) 加 载 SSL 支持 的 Nginx 并 使 用 私 钥 时 去 除 口令 ,命令 如 下 ,详情 如 图 14-14 所 示 。 


cp server. key server. key. bak 
openssl rsa - in server.key.bak - out server.key 


Please enter the following 'extra' attributes 
to be sent with your certificate request 

A challenge password []:111111 

An optional company name []:jfedu 





server.key server.key.bak 
‘openss! rsa -Yñ server.key. server -key 
Enter pass phi ia i 

writing RSA key 

[rooténodel -]# 





图 14-14 openssl 去除 口令 


(4) 自动 签发 证 书 ,命令 如 下 ,详情 如 图 14-15 所 示 。 


openssl x509 - req - days 10240 - in server.csr - signkey server.key - out server.crt 


HTTPS 证 书生 成 完毕 ,配置 Nginx 以 及 证 书 整 合 , 具 体 步骤 如 下 : 
(1) 安装 Nginx 并 加 入 SSL 模块 支持 ,并 将 证 书 复制 至 nginx. conf 目录 ,命令 如 下 : 


./configure -- prefix = /usr/local/nginx —— with 一 
cp server. crt server. key /usr/local/nginx/conf/ 


http ssl module &&make &&make install 


262 <| 曝光 : Linux 企 业 运 维 实战 





lrooténodei -]& openssl x509 -req -days 10240 -in server.csr -signkey server.ke 


t 
Signature ok 
Subject-/c-cN/ST-8ei Jing/L-8ei ing/0-jfedu/oU-jfedu. net /cN-j fedu. net /emai laddre 
.ne 
Getting Private key 
[roorpnodel -]# Ë 

WWW.JFEDU.NET. Wuru R 


图 14-15 openssl 自动 签发 证 书 
(2) nginx. conf 配置 文件 内 容 如 下 : 


# HTTPS server 


server ( 
listen 443 ss1; 
server name www. jfedu. net localhost; 
ssl certificate server.crt; 


ssl certificate key server.key; 
Ssl session cache Shared:SSL:1m; 
ssl session timeout 5m; 
ssl ciphers HIGH: ! aNULL: ! MD5; 
ssl prefer server ciphers on; 
location / ( 

root html; 

index index. html index. htm; 


) 


(3) 最 后 重启 Nginx 服务 ,然后 访问 https://www. jfedu. net 或 者 https://ip/ 即 可 ,如 
图 14-16 所 示 。 


[rootünodel conflé /usr/local/nginx/sbin/nginx -t Ë 

nginx: the configuration file /usr/local/nginx/conf/nginx.conf : 
nginx: configuration file /usr/local/nginx/conf/nginx.conf test 
root@nodel conf]& 

root@nodel conf]& á E N 

rooténodel conf]# /usr/local/nginx/sbin/nginx 

rooténodel conf]# 


rooténodel conf] 

rooténodel conf]# netstat -tn] |grep 443 
tcp 0 00 443 m 
[root@nodel conf]é W 


(a) Nginx 监 听 443 端 口 
G M e wa meme] 
Ë betps://192.168.1.12 














Welcome to nginx! 


If you see this page, the nginx web server is successfully inst 
working. Further configuration is required. 


For online documentation and support please refer to nginx.c 
Commercial support is available at nginx.com. 


Thank you for using nginx. 
(b) 客户 端 访问 Neinx HTTPS 


图 14-16 重启 Nginx 服务 .访问 HTTPS 


第 三 篇 Linux 高 级 篇 


Linux 进 阶 篇 总 共 包 含 9 个 章节 ,第 15—25 章 学 习 内 容 分 别 为 Linux 性 能 
优化 企业 实战 ,大 数据 备份 企业 实战 .shell 企业 编程 基础 、shell 编程 高 级 企业 
实战 、 自 动 化 运 维 发 展 前 景 `.Puppet 自动 运 维 企业 实战 .Ansible 自动 运 维 企业 
实战 Jenkins 持续 集成 企业 实战 .Linux 高 可 用 集群 实战 、 实 战 Docker 虚拟 化 
技术 、Openstack 十 KVM 构建 企业 私有 云 。 

读者 通过 对 高 级 篇 11 个 章节 的 深入 学 习 , 可 以 独立 维护 和 管理 企业 上 百 台 、 甚 
至 上 千 台 服务 器 ,能 够 在 企业 中 独当一面 ,打造 企业 级 千 万 PV 门户 网 站 架构 。 

同时 读者 能 够 掌握 对 MySQL 2TB 大 数量 的 备份 ,通过 对 Linux 服务 器 内 
核 进行 优化 .内核 故障 进行 排 错 , 服 务 器 异常 可 以 被 快速 解决 ,并 通过 编写 企业 
生产 环境 中 各 种 shell 脚本 工具 ,可 以 实现 网 站 自动 化 维护 和 部 署 。shell 编程 
高 级 企业 实战 这 一 章 讲述 了 11 个 高 级 实战 脚本 案例 ,满足 企业 在 各 种 场景 中 的 
使 用 。 可 以 基于 shell 开发 各 种 脚本 ,如 构建 网 站 服务 器 数据 备份 .LAMP 及 
LNMP 一 键 安装 部 署 .服务 器 硬件 信息 收集 存 入 DB, MySQL. 主 从 实战 、 自 动 修 
改 千 台 服 务 器 IP.Zabbix 自动 部 署 客户 端 \Nginx 及 Tomcat 自动 部 署 、Docker 
虚拟 化 管理 平台 、Bind 高 级 管理 等 脚本 。 

对 Linux 高 级 篇 的 学 习 能 够 使 读者 完全 胜任 万 台 服 务 器 的 维护 和 管理 
T Poppet 各 种 案例 实现 主动 部 署 管理 客户 端 自动 获取 配置 、 pape 

等 ,通过 轻 量 级 Ansible 自动 化 部 署 工具 ,可 以 实现 至 少 1000 台 服 务 器 的 运 维 
和 管理 ,并 通过 各 种 资源 模块 对 服务 器 进行 管理 ,同时 还 可 以 编写 PlayBook 剧 
本 实现 对 服务 器 流程 化 管理 ,减少 人 工 干预 ,实现 对 服务 器 和 Web 网 站 高 效 
维护 。 


高 级 篇 引入 Jenkins 自动 化 部 署 平台 ,讲述 了 传统 网 站 部 署 、 主 流 网 站 部 署 
的 方法 ,基于 Jenkins 构建 的 企业 级 自动 化 平台 ,支持 SVN、GIT 仓库 ,并 结合 
Ansible 自动 化 运 维 工 具 可 以 打造 企业 级 自动 化 部 署 平台 ,让 运 维 工作 更 加 
轻松 。 

本 篇 第 23 章 以 9 个 企业 级 高 级 实战 集群 部 署 为 例 , 如 Nginx 十 keepalived、 
Redis+ keepalived, LVS+ keepalived, Haproxy+keepalived 满足 企业 各 个 应 用 
环境 的 部 署 。 第 24 章 介 绍 了 Docker 虚拟 化 技术 ; 第 25 章 介 绍 了 Openstack 十 
KVM 构建 企业 私有 云 技术 ,做 到 真正 学 以 致 用 ,满足 企业 需求 。 
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随 着 企业 网 站 访问 量 越 来 越 大 ,服务 器 的 压力 也 逐渐 增加 ,主要 体现 在 CPU 使 用 率 、 
内 存 、 硬 盘 、 网 卡 流量 等 方面 资源 占用 情况 很 高 。 此 时 需 对 服务 器 性 能 进行 调 优 , 尽 量 在 保 
持 服 务 器 的 现 有 数量 下 ,然后 对 其 各 个 环节 参数 进行 优化 。 

本 章 向 读者 介绍 Linux 企业 级 性 能 服务 器 优化 .TCP/IP 报 文 .TCP 三 次 握手 及 四 次 断 
开 、Linux 内 核 深 入 优化 、Linux 内 核 故障 解决 方案 以 及 对 Linux 性 能 进行 评估 等 内 容 。 


15.1 TCP/IP 报 文 详解 


TCP/IP 定义 了 电子 设备 如 何 连 入 因特网 ,以 及 数据 如 何在 它们 之 间 传 输 的 标准 。 协 
议 采 用 了 4 层 的 层级 结构 ,每 一 层 都 呼叫 它 的 下 一 层 所 提供 的 协议 来 完成 自己 的 需求 。 

TCP 负责 发 现 传输 的 问题 ,一 有 问题 就 发 出 信号 ,要 求 重新 传输 ,直到 所 有 数据 安全 正 
确 地 传输 到 目的 地 ,而 TP 是 给 因特网 的 每 台 联 网 设备 规定 一 个 地 址 。TCP/IP 协议 数据 封 
装 的 过 程 包括 用 户 数据 经 过 应 用 层 协议 封装 后 传递 给 传输 层 ,传输 层 封装 TCP 头 部 , 交 给 
网 络 层 , 网 络 层 封装 IP 头 部 后 ,再 交 给 数据 链 路 层 , 数 据 链 路 层 封装 Ethernet 帧 头 和 帧 尾 ， 
交 给 物理 层 ,物理 层 以 比特 流 的 形式 将 数据 发 送 到 物理 线路 上 。 

不 同 的 协议 层 对 数据 包 有 不 同 的 称谓 ,数据 包 在 传输 层 叫 作 段 (segment) ,在 网 络 层 叫 
ME BG AR (datagram) ,在 链 路 层 叫 作 帧 (frame) 。 数 据 封装 成 帧 后 发 到 传输 介质 上 ,到 达 目 
的 主机 后 每 层 协议 再 剥 掉 相 应 的 首部 ,最 后 将 应 用 层 数 据 交 给 应 用 程序 处 理 , 如 图 15-1 
所 示 。 

优化 Linux 服务 器 ,需要 了 解 TCP 协议 相关 信息 ,例如 TCP/IP 数据 报 文 的 内 容 是 如 
何 传输 的 ,IP 数据 包 报 文 详细 结构 图 如 图 15-2 所 示 。 

IP 数据 包 详解 如 下 : 

(1) source port 和 destination port; 分 别 占 用 16 位 ,表示 源 端口 号 和 目的 端口 号 ,用 于 
区 别 主机 中 的 不 同 进程 。 而 IP 地 址 是 用 来 区 分 不 同 的 主机 的 , 源 端 口号 和 目的 端口 号 配合 
上 IP 首部 中 的 源 IP 地 址 和 目的 IP 地址 就 能 唯一 的 确定 一 个 TCP 连接 。 

(2) sequence number: 用 来 标识 从 TCP 发 端 向 TCP 收 端 发 送 的 数据 字 节 流 , 它 表示 在 
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图 15-2 IP 数 据 包 报 文 详细 结构 图 


这 个 报 文 段 中 的 第 一 个 数据 字 节 在 数据 流 中 的 序号 ,主要 用 来 解决 网 络 报 乱 序 的 问题 。 

(3) acknowledgment number: 32 位 确认 序列 号 包含 发 送 确 认 的 一 端 所 期 望 收 到 的 下 
一 个 序号 ,因此 ,确认 序号 应 当 是 上 次 已 成 功 收 到 数据 字 节 序号 加 1。 不 过 ,只 有 当 标 志 位 
中 的 ACK 标志 (下 面 介绍 ) 为 1 时 该 确认 序列 号 的 字段 才 有 效 。 主 要 用 来 解决 不 丢 包 的 
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问题 。 

(4) offset: 给 出 首部 中 32 位 的 数目 ,需要 这 个 值 是 因为 任 选 字段 的 长 度 是 可 变 的 。 这 
个 字段 占用 4 位 (最 多 能 表示 15 个 32 位 的 的 字 , 即 42€ 15— 60 个 字 节 的 首部 长 度 ) ,因此 
TCP 最 多 有 60 字 节 的 首部 。 然 而 ,没有 任 选 字段 ,正常 的 长 度 是 20 字 节 。 

(5) TCP flags; TCP 首部 中 有 6 个 标志 位 ,它们 中 的 多 个 可 同时 被 设置 为 1 ,主要 是 用 
于 操控 TCP 的 状态 机 ,依次 为 URG,ACK,PSH,RST,SYN,FIN。 每 个 标志 位 的 含义 
如 下 : 

a URG: 此 标志 表示 TCP 包 的 紧急 指针 域 ( 下 面 即 将 介绍 ) 有 效 ,用 来 保证 TCP 连接 
不 被 中 断 ,并 且 督 促 中 间 层 设备 要 尽快 处 理 这 些 数据 。 
ACK; 此 标志 表示 应 答 域 有 效 , 就 是 说 前 面 所 说 的 TCP 应 答 号 将 会 包含 在 TCP 数 
据 包 中 。 有 两 个 取 值 0 和 1 ,为 1 则 表示 应 答 域 有 效 , 反 之 为 0。 
PSH: 这 个 标志 位 表示 push 操作 。 所 谓 push 操作 就 是 指 在 数据 包 到 达 接 收 端 以 
后 ,立即 传送 给 应 用 程序 ,而 不 是 在 缓冲 区 中 排队 。 
RST: 这 个 标志 表示 连接 复位 请 求 。 用 来 复位 那些 产生 错误 的 连接 ,也 被 用 来 拒绝 
错误 和 非法 的 数据 包 。 
SYN: 表示 同步 序号 ,用 来 建立 连接 。SYN 标志 位 和 ACK 标志 位 搭配 使 用 , 当 连 接 
请 求 的 时 候 ,SYN==1,ACK==0; 连接 被 响应 的 时 候 ,SYN=1,ACK=1。 这 个 标志 
的 数据 包 经 常 被 用 来 进行 端口 扫描 。 扫 描 者 发 送 一 个 只 有 SYN 的 数据 包 , 如 果 对 
方 主机 响应 了 一 个 数据 包 回来 ,就 表明 这 台 主 机 存在 这 个 端口 。 但 是 由 于 这 种 扫描 
方式 只 是 进行 TCP 三 次 握手 的 第 一 次 握手 ,因此 这 种 扫描 的 成 功 表示 被 扫描 的 机 
器 不 是 很 安全 ,一 台 安 全 的 主机 将 会 强制 要 求 一 个 连接 严格 地 进行 TCP 的 三 次 
握手 。 
FIN: 表示 发 送 端 已 经 达到 数据 末尾 .也 就 是 说 双方 的 数据 传送 完成 ,没有 数据 可 以 
传送 了 ,发送 FIN 标志 位 的 TCP 数据 包 后 ,连接 将 被 断 开 。 这 个 标志 的 数据 包 也 经 
常 被 用 于 进行 端口 扫描 。 
(6) window :窗口 大 小 ,也 就 是 有 名 的 滑动 窗口 ,用 来 进行 流量 控制 。 


15.2 TCP 三 次 握手 及 四 次 断 开 


TCP 是 面向 连接 的 ,无论 哪 一 方向 在 另 一 方 发 送 数据 之 前 ,都 必须 先 在 双方 之 间 建 立 
一 条 连接 。 在 TCP/IP 协议 中 ,TCP 协议 提供 可 靠 的 连接 服务 ,连接 是 通过 三 次 握手 进行 
初始 化 的 。 三 次 握手 的 目的 是 同步 连接 双方 的 序列 号 和 确认 号 并 交换 TCP 窗口 大 小 信息 ， 
如 图 15-3 所 示 。 

(OD TCP 三 次 握手 原理 如 下 : 

a 第 一 次 握手 : 建立 连接 。 客 户 端 发 送 连接 请 求 报 文 段 , 将 SYN 位 置 为 1, sequence 

number 为 x, 然 后 客户 端 进入 SYN. SEND 状态 ,等待 服务 器 的 确认 。 


D 


D 


D 


D 


D 
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图 15-3 TCP 三 次 握手 及 四 次 断 开 


a 第 二 次 握手 : 服务 器 收 到 SYN 报 文 段 。 服 务 器 收 到 客户 端的 SYN 报 文 段 , 需 要 对 
这 个 SYN 报 文 段 进行 确认 ,设置 acknowledgment number 为 x + 1 (sequence 
number 十 1)。 同 时 ,自己 还 要 发 送 SYN 请 求 信 息 , 将 SYN 位 置 为 1, sequence 
number 为 y。 服 务 器 端 将 上 述 所 有 信息 放 到 一 个 报 文 段 ( 即 SYN 十 ACK 报 文 段 ) 
中 ,一 并 发 送 给 客户 端 ,此 时 服务 器 进入 SYN. RECV 状态 。 

a 第 三 次 握手 : 客户 端 收 到 服务 器 的 SYN+ ACK 报 文 段 。 然 后 将 acknowledgment 
number i $t J y+ 1. lB] R $ gë ACHE ACK 报 文 段 ,这 个 报 文 段 发 送 完毕 以 后 ,客户 端 
和 服务 器 端 都 进入 ESTABLISHED 状态 ,完成 TCP 三 次 握手 。 

如 图 15-4 所 示 为 基于 tcpdump 抓 取 TCP/IP 三 次 握手 及 数据 包 传输 过 程 。 

(2) TCP 四 次 挥手 原理 如 下 : 

a 第 一 次 挥手 : 主机 A( 可 以 使 客户 端 , 可 以 是 服务 器 端 ) ,设置 sequence number 和 
acknowledgment number, 向 主机 B 发 送 一 个 FIN 报 文 段 。 此 时 ,主机 A 进入 FIN_ 
WAIT_1 状态 ,这 表示 主机 A 没有 数据 要 发 送 给 主机 B。 

9 第 二 次 挥手 : 主机 B 收 到 了 主机 A 发 送 的 FIN 报 文 段 ,向 主机 A 回 一 个 ACK 报 文 
段 ,acknowledgment number 为 sequence number 加 1, 主 机 A 进入 FIN_WAIT_2 
RE. EH B 告诉 主机 A ,我 “同意 ”你 的 关闭 请 求 。 

a 第 三 次 挥手 : 主机 B 向 主机 A 发 送 FIN 报 文 段 ,请 求 关 闭 连 接 , 同 时 主机 B 进入 





断 开 连 接 四 次 挥手 
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图 15-4 TCP 三 次 握手 抓 包 分 析 


LAST_ACK 状态 。 

a 第 四 次 挥手 : 主机 A 收 到 主机 B 发 送 的 FIN 报 文 段 ,向 主机 B 发 送 ACK 报 文 段 ， 
然后 主机 A 进入 TIME WAIT 状态 。 主 机 B 收 到 主机 A 的 ACK 报 文 段 以 后 ,就 
关闭 连接 。 此 时 ,主机 A 等 待 2MSL 后 依然 没有 收 到 回复 , 则 证 明 server 端 已 正常 
关闭 ,这 样 , 主 机 A 也 可 以 关闭 连接 

如 图 15-5 所 示 为 基于 tepdump 抓 取 TCP/IP 四 次 挥手 及 数据 包 传 输 过 程 








图 15-5 TCP 四 次 挥手 抓 包 分 析 


15.3 优化 Linux 文件 打开 最 大 数 


为 了 防止 失控 的 进程 破坏 系统 的 性 能 ,UNIX 和 Linux 会 跟踪 进程 使 用 的 大 部 分 资源 ， 
并 允许 用 户 和 系统 管理 员 使 用 对 进程 的 资源 限制 .例如 控制 某 个 进程 打开 的 系统 文件 数 、 对 
某 个 用 户 打开 系统 进程 数 进行 限制 等 ,一 般 限制 手段 包括 软 限制 和 硬 限制 。 具体 说 明 如 下 : 
a 软 限制 (soft limit): 内 核实 际 执行 的 限制 ,任何 进程 都 可 以 将 软 限制 设置 为 任意 小 
于 或 等 于 对 进程 限制 的 硬 限 制 的 值 .最 大 线程 数 (noproc) 和 文件 数 (nofile) 。 
a 硬 限制 (hard limit); 可 以 在 任何 时 候 任何 进程 中 设置 ,但 硬 限 制 只 能 由 超级 用 户 
修改 。 
Linux 系统 一 切 皆 文件 ,对 Linux 进行 各 种 操作 ,实际 就 是 对 文件 进行 操作 ,文件 可 分 
为 普通 文件 .目录 文件 .链接 文件 和 设备 文件 。 而 文件 描述 符 (file descriptor) 是 内 核 为 了 高 
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效 管理 已 被 打开 的 文件 所 创建 的 索引 ,其 值 是 一 个 非 负 整数 (通常 是 小 整数 ) ,用 于 指 代 被 打 
开 的 文件 ,所 有 执行 LO 操作 的 系统 调用 都 通过 文件 描述 符 。 

Linux 系统 默认 已 经 打开 的 文件 描述 符 包 括 STDIN _FILENO 0 表示 标准 输入 、 
STDOUT FILENO 1 表示 标准 输出 .STDERR_FILENO 2 表示 标准 错误 输出 ,默认 打开 一 
个 新 文件 , 它 的 文件 描述 符 为 3。 

每 个 文件 描述 符 与 一 个 打开 文件 相对 应 ,不 同 的 文件 描述 符 可 以 指向 同一 个 文件 。 相 
同 的 文件 可 以 被 不 同 的 进程 打开 ,也 可 以 在 同一 个 进程 中 被 多 次 打开 。 

Linux 系统 为 每 个 进程 维护 了 一 个 文件 描述 符 表 ,该 表 的 值 都 是 从 0 开始 的 ,在 不 同 的 
进程 中 用 户 会 看 到 相同 的 文件 描述 符 ,相同 文件 描述 符 有 可 能 指向 同一 个 文件 ,也 有 可 能 指 
向 不 同 的 文件 。Linux 内 核对 文件 操作 ,维护 了 3 个 数据 结构 概念 。 

a 进程 级 的 文件 描述 符 表 ; 

a 系统 级 的 打开 文件 描述 符 表 ; 

a 文件 系统 的 i-node X. 

其 中 进程 级 的 描述 符 表 的 每 一 个 条 目 记录 了 单个 文件 描述 符 的 相关 信息 ,例如 控制 文 
件 描述 符 操作 的 一 组 标志 及 对 打开 文件 句柄 的 引用 。Linux 内 核对 所 有 打开 的 文件 都 维护 
了 一 个 系统 级 的 描述 符 表 (open file description table) 。 将 描述 符 表 中 的 记录 行 称 为 打开 文 
件 句 柄 (open file handle) ,一 个 打开 文件 句柄 存储 了 与 一 个 打开 文件 相关 的 全 部 信息 ,详细 
信息 如 下 : 

a 当前 文件 偏 移 量 ; 

a 打开 文件 时 所 使 用 的 状态 标识 ; 
文件 访问 模式 s 
与 信号 驱动 相关 的 设置 ; 

对 该 文件 Fnode 对 象 的 引用 ， 
文件 类 型 和 访问 权限 ; 

指针 指向 该 文件 所 持 有 的 锁 列表 ; 
文件 的 各 种 属性 。 

默认 Linux 内 核对 每 个 用 户 设置 了 打开 文件 最 大 数 为 1024, 对 于 高 并 发 网 站 ,是 远 远 
不 够 的 ,需要 将 默认 值 调整 到 更 大 ,调整 方法 如 下 : 

a Linux 每 个 用 户 打开 文件 最 大 数 临时 设置 方法 ,重启 服务 器 该 参数 无 效 ,命令 行 终端 

执行 如 下 命令 : 


ulimit -n 65535 


a Linux 每 个 用 户 打开 文件 最 大 数 永 久 设 置 方法 ,将 如 下 代码 加 入 内 核 限 制 文 件 /etc/ 
security/limits. conf 的 末尾 : 





DOO DD DO 


* soft  noproc 65535 
* hard  noproc 65535 
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* soft nofile 65535 
* hard nofile 65535 


上 述 设置 为 对 每 个 用 户 分 别 设置 nofile、noproc 最 大 数 , 如 果 需 要 对 Linux 整个 系统 设 
置 文件 最 大 数 限制 ,需要 修改 /proc/sys/fs/filemax 中 的 值 ,该 值 为 Linux 总 文件 打开 数 ， 
例如 设置 为 echo 3865161233 >/proc/sys/fs/file-max. 


15.4 ”内核 参数 的 优化 


Linux /proc/sys 目录 下 存放 着 多 数 内 核 的 参数 ,并 且 可 以 在 系统 运行 时 进行 更 改 ,一 
般 重 新 启动 机 器 就 会 失效 。 而 /etc/sysctl. conf 是 一 个 允许 改变 正在 运行 中 的 Linux 系统 
的 接口 , 它 包含 一 些 TCP/IP 堆栈 和 虚拟 内 存 系统 的 高 级 选项 ,修改 内 核 参 数 永久 生效 。 

/proc/sys 下 内 核 文 件 与 配置 文件 sysctl. conf 中 变量 存在 着 对 应 关系 , 即 修改 sysct. 
conf 配置 文件 ,其 实 是 修改 /proc/sys 相关 参数 ,所 以 对 Linux 内 核 优 化 只 需 修改 /etc/ 
sysctl. conf 文件 即 可 。 以 下 为 BAT 企业 生产 环境 /etc/sysct. conf 内 核 参数 : 

net.ipv4.ip forward = 0 

net. ipv4. conf. default. rp_filter = 1 

net. ipv4. conf. default.accept source route - 0 

kernel.sysrq = 0 


kernel.core uses pid = 1 
net.ipv4.tcp syncookies - 1 


kernel.msgmnb = 65536 
kernel. msgmax = 65536 
kernel. shmmax = 68719476736 
kernel. shmall = 4294967296 


net.ipv4.tcp max tw buckets = 10000 
net.ipv4.tcp sack = 1 

net.ipv4.tcp window scaling = 1 
net.ipv4.tcp rmem = 4096 87380 4194304 
net.ipv4.tcp wmem - 4096 16384 4194304 
net.core.wmem default - 8388608 
net.core.rmem default - 8388608 
net.core.rmem max - 16777216 
net.core.wmem max - 16777216 
net.core.netdev max backlog = 262144 
net.core.somaxconn - 262144 

net.ipv4.tcp max orphans = 3276800 
net.ipv4.tcp max syn backlog = 262144 
net.ipv4.tcp timestamps - 0 

net.ipv4.tcp synack retries - 1 
net.ipv4.tcp syn retries - 1 
net.ipv4.tcp tw recycle - 1 

net.ipv4.tcp tw reuse = 1 
net.ipv4.tcp mem = 94500000 915000000 927000000 
net.ipv4.tcp fin timeout - 1 
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net.ipv4.tcp keepalive time = 30 
net.ipv4. ip local port range - 1024 65535 


Linux 内 核 常 见 参数 详解 如 下 : 


口 


a 


D 


D 


D 


D 


net. ipv4. tcp timestamps = 1; 该 参数 控制 RFC 1323 时 间 截 与 窗口 缩放 选项 。 
net. ipv4. tcp sack = 1; 选择 性 应 答 (SACK) 是 TCP 的 一 项 可 选 特性 ,可 以 提高 某 
些 网 络 中 所 有 可 用 带宽 的 使 用 效率 。 

net. ipv4. tcp_fack = 1: 打开 FACK (forward ACK) 拥 塞 避 免 和 快速 重 传 功能 。 
net. ipv4. tcp retrans collapse — 1: 打开 重 传 重组 包 功 能 ,为 0 的 时 候 关 闭 重 传 重 
组 包 功 能 。 

net. ipv4. tcp_syn_retries — 5; 对 于 一 个 新 建 连接 ,内 核 要 发 送 多 少 个 SYN 连接 请 
求 才 决 定 放 弃 。 

net. ipv4. tcp_synack_retries = 5: tcp_synack_retries 显示 或 设 定 Linux 在 回应 
SYN 要 求 时 尝试 多 少 次 重新 发 送 初始 SYN. ACK 封包 后 才 决 定 放弃 。 

net. ipv4. tep_max_orphans = 131072: 系统 所 能 处 理 不 属于 任何 进程 的 TCP 
sockets 最 大 数量 。 

net. ipv4. tcp_max_tw_buckets = 5000; 系统 同时 保持 TIME WAIT 套 接 字 的 最 大 
数量 ,如 果 超 过 这 个 数字 ,TIME_WAIT 套 接 字 将 立刻 被 清除 并 打印 警告 信息 ,默认 
为 180000 , 设 为 较 小 数值 此 项 参数 可 以 控制 TIME WAIT 套 接 字 的 最 大 数量 ,避免 
服务 器 被 大 量 的 TIME_WAIT 套 接 字 拖 死 。 


net. ipv4. tcp_keepalive_time = 30 








net. ipv4. tcp_keepalive_probes — 3 


net. ipv4. tcp keepalive intvl = 3 


如 果 某 个 TCP 连接 在 空闲 30s 后 ,内 核 才 发 起 probe( 探 查 ) ,车 probe 3 次 (每 次 3s) HI 
tcp. keepalive intvl 值 不 成 功 ,内 核 才 彻底 放弃 ,认为 该 连接 已 失效 。 


口 


口 


口 


net. ipv4. tcp_retriesl = 3; 放弃 回应 一 个 TCP 连接 请 求 前 ， 需 要 进行 多 少 次 
重 试 。 

net. ipv4. tcp retries2 = 15: 在 丢弃 激活 (已 建立 通信 状况 ) 的 TCP 连接 之 前 ， 需 
要 进行 多 少 次 重 试 。 

net. ipv4. tcp fin timeout = 30; 表示 如 果 套 接 字 由 本 端 要 求 关 闭 ,这 个 参数 决定 了 
它 保持 在 FIN-WAIT-2 状态 的 时 间 。 

net. ipv4. tcp tw recycle — 1: 表示 开启 TCP 连接 中 TIME WAIT sockets 的 快速 
回收 ,默认 为 0, 表示 关闭 。 

net. ipv4. tcp max syn backlog = 8192; 表示 SYN 队列 的 长 度 , 默 认为 1024, 加 大 
队列 长 度 为 8192, 可 以 容纳 更 多 等 待 连接 的 网 络 连接 数 。 

net. ipv4. tcp syncookies = 1; TCP 建立 连接 的 3 路 握手 过 程 中 , 当 服 务 端 收 到 最 
初 的 SYN 请 求 时 ,会 检查 应 用 程序 的 syn_backlog 队列 是 否 已 满 。 启 用 syncookie， 
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可 以 解决 超 高 并 发 时 的 “can’t connect” 问 题 ,但 是 会 导致 TIME_WAIT 状态 
fallback 为 保持 2MSL 时 间 , 高 峰 期 时 会 导致 客户 端 无 可 复 用 连接 而 无 法 连接 服 
务 器 。 

net. ipv4. tcp orphan retries = 0; 关闭 TCP 连接 之 前 重 试 多 少 次 。 

net. ipv4. tcp mem = 178368 237824 356736: net. ipv4. tcp_mem[0] 表 示 低 于 此 
ffl. TCP 没有 内 存 压力 ,net. ipv4. tcp_mem[L1] 表 示 在 此 值 下 ,进入 内 存 压 力 阶 段 ， 
net. ipv4. tcp_mem[L2] 表 示 高 于 此 值 ,TCP 拒绝 分 配 socket, 

net. ipv4. tcp tw reuse = 1; 表示 开启 重用 ,允许 将 TIME WAIT sockets 重新 用 
于 新 的 TCP 连接 。 

net. ipv4. ip local port range — 1024 65000; 表示 用 于 向 外 连接 的 端口 范围 。 

net. ipv4. ip conntrack max = 655360; 在 内 核 内 存 中 netfilter 可 以 同时 处 理 的 “ 任 
务 ”( 连 接 跟 踪 条 目 ) 。 

net. ipv4. icmp_ignore_bogus_error_responses = 1; 开启 恶意 icmp 错误 消息 保护 。 

net. ipv4. tcp syncookies = 1: 开启 SYN 洪水 攻击 保护 。 


15.5 Linux 内 核 报错 剖析 


企业 生产 环境 Linux 服务 器 正常 运行 ,由 于 某 种 原因 会 导致 内 核 报错 或 者 抛 出 很 多 信 
息 ,根据 系 统 SA 可 以 快速 定位 Linux 服务 器 故障 ,Linux 内 核 日 志 一 般 存在 messages 日 志 
中 ,可 以 通过 命令 tail -fn 100 /var/log/messages 查看 ,以 下 为 Linux 内 核 常 见报 错 日 志 
生产 环境 解决 报错 的 方案 。 

(1) Linux PY RaW net. ipv4. tep_max_tw_buckets 错误 ,代码 如 下 : 


D 


D 


D 


D 


D 


D 


D 


Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 
Sep 23 04:45:55 localhost kernel: TCP: time wait bucket table overflow 


根据 TCP 协议 定义 的 三 次 握手 及 四 次 断 开 连接 规定 ,发 起 socket 主动 关闭 的 一 方 
socket 将 进入 TIME WAIT 状态 ,TIME_WAIT 状态 将 持续 2 个 MSL (max segment 
lifetime)。 如 果 该 值 设 置 过 小 导致 当 系 统 TIME WAIT 数量 超过 默认 设置 的 值 时 , 即 会 
抛 出 上 述 的 警告 信息 ,这 时 需要 增加 net. ipv4. tcp_max_tw_buckets 的 值 ,警告 信息 才 会 消 
除 。 当 然 这 个 值 也 不 能 设置 过 大 ,对 于 一 个 处 理 大 量 短 连接 的 服务 器 ,如 果 是 由 服务 器 主动 
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关闭 客户 端的 连接 ,将 导致 服务 器 端 存在 大 量 的 处 于 TIME_WAIT 状态 的 socket, 甚 至 比 
处 于 established 状态 下 的 socket 多 得 多 ,严重 影响 服务 器 的 处 理 能 力 ,甚至 耗 尽 可 用 的 
socket 而 停止 服务 , TIME WAIT 是 TCP 协议 用 以 保证 被 重新 分 配 的 socket 不 会 受到 之 
前 残留 的 延迟 重 发 报 文 影 响 的 机 制 , 是 TCP 传输 必要 的 逻辑 保证 。 

(2) Linux 内 核 抛 出 Too many open files 错误 ,代码 如 下 : 


Benchmarking localhost (be patient) 
Socket: Too many open files (24) 
Socket: Too many open files (24) 
Socket: Too many open files (24) 
Socket: Too many open files (24) 
Socket: Too many open files (24) 


每 个 文件 描述 符 与 一 个 打开 文件 相对 应 ,不 同 的 文件 描述 符 可 以 指向 同一 个 文件 。 相 
同 的 文件 可 以 被 不 同 的 进程 打开 ,也 可 以 在 同一 个 进程 中 被 多 次 打开 。Linux 内 核对 应 每 
个 用 户 打 开 的 文件 最 大 数 一 般 为 1024 ,需要 将 该 值 调 高 满足 大 并 发 网 站 的 访问 。 

Linux 每 个 用 户 打 开 文 件 最 大 数 永久 设置 方法 ,将 以 下 代码 加 入 内 核 限 制 文件 /etc/ 
security/ limits. conf 的 末尾 ,退出 终端 ,重新 登录 即 生效 ,代码 如 下 : 


* soft noproc 65535 
* hard noproc 65535 
* soft nofile 65535 
* hard nofile 65535 


(3) Linux 内 核 抛 出 possible SYN flooding on port 80, Sending cookies 错误 ,代码 如 下 : 


May 31 14:20:14 localhost kernel: possible SYN flooding on port 80. Sending cookies. 
May 31 14:21:28 localhost kernel: possible SYN flooding on port 80. Sending cookies. 
May 31 14:22:44 localhost kernel: possible SYN flooding on port 80. Sending cookies. 
May 31 14:25:33 localhost kernel: possible SYN flooding on port 80. Sending cookies. 
May 31 14:27:06 localhost kernel: possible SYN flooding on port 80. Sending cookies. 
May 31 14:28:44 localhost kernel: possible SYN flooding on port 80. Sending cookies. 
May 31 14:28:51 localhost kernel: possible SYN flooding on port 80. Sending cookies. 
May 31 14:31:01 localhost kernel: possible SYN flooding on port 80. Sending cookies. 


此 问题 是 由 于 SYN 队列 已 满 ,而 触发 SYN cookies. — A Ji fH T ACHE AY U la] sx d 35 KE 
访问 导致 ,也 称 之 为 SYN flooding 洪水 攻击 。 

完整 的 TCP 连接 的 三 次 握手 ,假设 一 个 用 户 A 向 服务 器 发 送 了 SYN 报 文 后 突然 死机 
或 掉 线 ,那么 服务 器 在 发 出 SYN 十 ACK 应 答 报 文 后 是 无 法 收 到 客户 端的 ACK 报 文 的 (第 
三 次 握手 无 法 完成 ) ,这 种 情况 下 服务 器 端 一 般 会 重 试 (再 次 发 送 SYN+ ACK 给 客户 端 ) 并 
等 待 一 段 时 间 后 丢弃 这 个 未 完成 的 连接 .这 段 时 间 的 长 度 称 为 SYN timeout, 一 般 来 说 这 个 
时 间 是 分 钟 的 数量 级 (大 约 为 30s~2min)。 

一 个 用 户 出 现 异常 导致 服务 器 的 一 个 线程 等 待 1min 并 不 是 什么 很 大 的 问题 ,但 如 果 
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有 恶意 的 攻击 者 大 量 模 拟 这 种 情况 .服务 器 端 将 为 了 维护 一 个 非常 大 的 半 连 接 列表 而 消耗 
非常 多 的 资源 , 数 以 万 计 的 半 连 接 , 即 使 是 简单 的 保存 并 遍历 也 会 消耗 非常 多 的 CPU 时 间 
和 内 存 , 何 况 还 要 不 断 对 这 个 列表 中 的 IP 进行 SYN 十 ACK 的 重 试 。 

实际 上 如 果 服 务 器 的 TCP/IP 栈 不 够 强大 ,最 后 的 结果 往往 是 堆栈 溢出 崩溃 ,即使 服务 
器 端的 系统 足够 强大 ,服务 器 端 也 将 忙于 处 理 攻击 者 伪造 的 TCP e Bei o ini E IR A JP 
的 正常 请 求 (毕竟 客户 端的 正常 请 求 比率 非常 之 小 ) ,此 时 从 正常 客户 的 角度 看 来 ,服务 器 失 
去 响应 ,服务 器 拒绝 提供 服务 ,服务 器 受到 了 DDOS 攻击 ,这 里 攻击 的 手段 为 DDOS 中 
SYN flooding 攻击 (SYN 洪水 攻击 ) 。 

防护 DDOS 攻击 有 两 种 手段 : 一 是 基于 硬件 专业 防火 墙 ; 二 是 基于 Linux 内 核 简单 防 
护 。 如 果 攻 击 流量 特别 大 ,单纯 配置 内 核 参数 是 无 法 抵挡 的 ,还 得 依靠 专业 级 硬件 防火 墙 ， 
以 下 为 Linux 内 核 防护 DDOS 优化 参数 ,添加 如 下 代码 即 可 : 


net.ipv4.tcp fin timeout = 30 
net.ipv4.tcp keepalive time - 1200 
net.ipv4.tcp syncookies = 1 

net.ipv4.tcp tw reuse - 1 

net.ipv4.tcp tw recycle = 1 

net.ipv4. ip local port range - 1024 65000 
net.ipv4.tcp max syn backlog - 8192 
net.ipv4.tcp max tw buckets - 8000 
net.ipv4.tcp synack retries - 2 
net.ipv4.tcp syn retries - 2 


(4) Linux Ay HHH nf. conntrack; table full. dropping packet. 错误 ,代码 如 下 : 


May 6 11:15:07 localhost kernel: nf conntrack:table full, dropping packet. 
May 6 11:19:13 localhost kernel: nf conntrack:table full, dropping packet. 
May 6 11:20:34 localhost kernel: nf conntrack:table full, dropping packet. 
May 6 11:23:12 localhost kernel: nf conntrack:table full, dropping packet. 
May 6 11:24:07 localhost kernel: nf conntrack:table full, dropping packet. 
May 6 11:24:13 localhost kernel: nf conntrack:table full, dropping packet. 
May 6 11:25:11 localhost kernel: nf conntrack:table full, dropping packet. 
May 6 11:26:25 localhost kernel: nf conntrack:table full, dropping packet. 


由 于 该 服务 器 开启 了 iptables By ASH. Web 服务 器 收 到 了 大 量 的 连接 ,iptables 会 把 所 
有 的 连接 都 做 连接 跟踪 处 理 , 这 样 iptables 就 会 有 一 个 连接 跟踪 表 , 当 这 个 表 满 的 时 候 , 就 
会 出 现 上 面 的 错误 。ip_conntrack 是 Linux NAT 的 一 个 跟踪 连接 条 目的 模块 ,ip _ 
conntrack 模块 会 使 用 一 个 哈 希 表 记 录 TCP 通信 协议 的 established connection 记录 。 

如 果 是 CentOS 6. X 系统 , 需 执行 modprobe nf. conntrack 命令 ,然后 在 内 核 优化 文件 
中 加 入 如 下 代码 ,sysctl -p 使 其 内 核 文件 生效 , 即 可 解决 该 报错 。 


net.nf conntrack max = 655360 
net.netfilter.nf conntrack tcp timeout established - 36000 
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如 果 是 CentOS 5. X 系统 , 需 执 行 modprobe ip_conntrack 命 
中 加 入 如 下 代码 ,sysctl -p 使 其 内 核 文 件 生 效 , 即 可 解决 该 报错 。 


net.ipv4. ip conntrack max = 655350 
net.ipv4.netfilter. ip conntrack tcp timeout established - 10800 





15.6 影响 服务 器 性 能 因素 


令 , 然 后 在 内 核 优化 文件 


影响 企业 生产 环境 Linux 服务 器 性 能 的 因素 有 很 多 ,一 般 分 为 两 大 类 , 即 操作 系统 层级 
和 应 用 程序 级 别 。 以 下 为 各 级 别 影响 性 能 的 具体 项 及 性 能 评估 的 标准 。 


COD 操作 系统 级 别 。 
a 内 存 ; 
a CPU; 
o 磁盘 I/O; 
a 网 络 L/O 带宽 。 
(2) 应 用 程序 及 软件 。 
a Nginx; 
a MySQL; 
a Tomcat; 
a PHP; 
a 应 用 程序 代码 。 
(3) Linux 系统 性 能 评估 标准 如 表 15-1 所 示 。 
表 15-1 Linux 性 能 评估 标准 























评判 标准 
影响 性 能 因素 
好 坏 mu 

CPU user% 十 sys%—< 70% | user% + sys%= 85% | user% + sys% > 90% 
Swap In(si) —0 

内 存 d Per CPU with 10 page/s | More Swap In ë. Swap Out 
Swap Out(so) —0 

磁盘 iowait % < 20% iowait % =35% iowait % > 50% 





(4) Linux 系统 性 能 分 析 工 具 。 

常 H 系统 性 能 分 析 命令 为 vmstat,sar ,iostat netstat, free, ps 
常用 系统 性 能 组 合 分 析 命令 如 下 : 

a vmstat,sar,iostat; 检测 是 否 是 CPU Jl $8 

a free, vmstat; 检测 是 否 是 内 存 瓶 颈 。 

a iostat: 检测 是 否 是 磁盘 1/0 瓶颈 。 

a netstat iftop: 检测 是 否 是 网 络 带 宽 瓶 颈 。 

















stop \iftop 等 。 
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15.7 Linux 服务 器 性 能 评估 与 优化 


Linux 服务 器 性 能 评估 与 优化 是 一 项 长 期 的 工作 ,需要 随时 关注 网 站 服务 器 的 运行 状 
态 , 及 时 作出 相应 的 调整 ,以 下 为 Linux 服务 器 性 能 评估 及 优化 方案 。 

A) Linux 系统 整体 性 能 评估 。 

uptime 命令 主要 用 于 查看 当前 服务 器 整体 性 能 ,例如 CPU 、 负 载 ,内 存 等 值 的 总 览 , 以 
下 为 uptime 命令 应 用 案例 及 详解 。 

[root@webl —]# uptime 

13:38:00 up 112 days, 14:01, 5 users, load average: 6.22, 1.02, 0.91 

load average 负载 有 3 个 值 ,分 别 表 示 最 近 1min,5min, 15min 系统 的 负载 ,3 个 值 的 大 
小 一 般 不 能 大 于 系统 逻辑 CPU 核 数 的 2 倍 ,例如 Linux 操作 系统 有 4 个 逻辑 CPU, 如 果 
load average 的 3 个 值 长 期 大 于 8 时, 说明 CPU 很 繁忙 ,负载 很 高 ,可 能 会 影响 系统 性 能 ,但 
是 偶尔 大 于 8 时 ,可 以 不 用 担心 ,一 般 不 会 影响 系统 性 能 。 

如 果 load average 的 输出 值 小 于 CPU 逻辑 个 数 的 2 倍 , 则 表示 CPU 还 有 空闲 的 时 间 
片 , 例 如 案例 中 CPU 负载 为 6. 22, 表 示 CPU 或 者 服务 器 是 比较 空闲 的 。 基 于 此 参数 不 能 
完全 确认 服务 器 的 性 能 瓶颈 ,需要 借助 其 他 工具 进一步 判断 。 

(2) CPU 性 能 评估 。 

利用 vmstat 命令 监控 系统 CPU ,该 命令 可 以 显示 关于 系统 各 种 资源 之 间 相 关 性 能 的 
简要 信息 ,主要 用 它 来 查看 CPU 负载 及 队列 情况 。 如 图 15-6 所 示 ,为 vmstat 命令 在 某 个 
系统 的 输出 结果 。 


[root&pPT-171123 ~]# vmstat 2 10 

procs ----------- WR CIE a Swap-- ----- io---- 一 system-- ----- cpu----- 

r b swpd free uff cache si so bi bo in cs us sy id wa st 

1 0 0 12529508 372016 16116888 0 0 0 2 0 0 0 0100 0 0 
0 0 0 12529520 372016 16116888 0 0 0 40 137 24 0 0 100 0 0 
0 0 0 12529520 372016 16116888 o 0 0 0 135 219 0 0100 0 0 
0 0 0 12529520 372016 16116888 o 0 0 0 120 205 0 0100 0 0 
0 0 0 12529556 372016 16116888 0 0 0 8 139 232 0 0100 0 0 
0 0 0 12529556 372016 16116896 0 0 0 0 159 250 0 0100 0 0 
0 0 0 12529556 372016 16896 0 0 0 26 129 213 0 0100 0 0 
0 0 0 12529556 372016 16116896 0 0 0 6 120 210 0 0100 0 0 
0 0 0 12529556 372016 16116896 0 0 0 0 122 3 0 0100 0 0 
0 0 0 12529556 372016 16116896 0 0 0 0 123 2 0 0100 0 0 
[roorepT-171123 ~]# 


图 15-6 vmstat 工具 查看 系统 CPU 资源 


vmstat 输出 结果 详解 如 下 : 

q r: 该 列表 示 运 行 和 等 待 CPU 时 间 片 的 进程 数 ,这 个 值 如 果 长 期 大 于 系统 CPU 的 个 
数 ,说 明 CPU 不 足 , 需 要 增加 CPU, 

a b: 该 列表 示 在 等 待 资源 的 进程 数 ,比如 正在 等 待 I/O 或 者 内 存 交 换 等 。 

a us: 该 列 显示 了 用 户 进程 消耗 的 CPU 时 间 百 分 比 ,us 的 值 比较 高 时 ,说 明 用 户 进程 
消耗 的 CPU 时 间 多 ,但 是 如 果 长 期 大 于 50 26 ,就 需要 考虑 优化 程序 或 算法 。 

a sy: 该 列 显示 了 内 核 进程 消耗 的 CPU 时 间 百 分 比 ,sy 的 值 较 高 时 ,说 明 内 核 消 耗 的 
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CPU 资源 很 多 。 
3 us 十 sy: 参考 值 为 80% ,如 果 us 十 sy 大 于 80% 说 明 可 能 存在 CPU 资源 不 足 。 
利用 sar 命令 监控 系统 CPU , sar 功能 很 强大 ,可 以 对 系统 的 每 个 方面 进行 单独 的 统 
计 , 但 是 使 用 sar 命令 会 增加 系统 开销 ,不 过 这 些 开销 是 可 以 评估 的 ,对 系统 的 统计 结果 不 
会 有 很 大 影响 。 如 图 15-7 所 示 ,为 sar 命令 对 某 个 系统 的 CPU 统计 输出 。 

















[root&PT-171123 ~]# sar -u 

Linux 2.6.32-279.e16.x86 t ea 171123. 360buy. com) 01/22/2015 —x86_64_ (6 cpu) 
03:04:51 PM CPU Xuser Xnice  Xsystem  Xiowait Xsteal atl 
03:04:53 PM al 0.00 0.00 0.03 0.00 0.00 97 
03:04:55 PM all 0.00 0.00 0.03 0.00 0.00 99: 97 
03:04:57 PM all 0.03 0.00 0.03 0.00 0.00 99.94 
03:04:59 PM all 0.00 0.00 0.03 0.00 0.00 99.97 
03:05:01 PM all 0.00 0.00 0.03 0.00 0.00 99.97 
03:05:03 PM all 0.00 0.00 0.03 0.00 0.00 99.97 
03:05:05 PM all 0.00 0.00 0.00 0.00 0.00 100.00 
03:05:07 PM all 0.03 0.00 0.03 0.00 0.00 99.94 
03:05:09 PM all 0.03 0.00 0.03 0.00 0.00 99.94 


图 15-7. sar 工具 查看 系统 CPU 资源 


sar 输出 结果 详解 如 下 : 
%user: 该 列 显示 了 用 户 进程 消耗 的 CPU 时 间 百 分 比 。 
%nice: 该 列 显示 了 运行 正常 进程 所 消耗 的 CPU 时 间 百 分 比 。 
%system: 该 列 显示 了 系统 进程 消耗 的 CPU 时 间 百 分 比 。 
%iowait: 该 列 显示 了 1/0 等 待 所 占用 的 CPU 时 间 百 分 比 。 
%idle: 该 列 显示 了 CPU 处 在 空闲 状态 的 时 间 百 分 比 。 
Ysteal: 列 显示 了 在 内 存 相对 紧张 的 环境 下 pagein 强制 对 不 同 的 页 面 进行 的 steal 
操作 。 
(3) 内 存 性 能 评估 o 
利用 free 指令 监控 内 存 free 是 监控 Linux 内 存 使 用 状况 最 常用 的 指令 ,如 图 15-8 所 
示 为 服务 器 内 存 使 用 情况 。 


You have mail in (var/Spool faa /root 

frosteer-i7iiz3 -j - 

root&PT-171123 ~]# free -m 
tor 


D D DDD D 


used free shared buffers cached 

19861 12235 0 363 15739 
Bos "buffers /cache: 3759 28337 
0 499 


Swap 499 
LrobtepT-171123 ~]# 
图 15-8 free 查看 系统 内 存 情况 


一 般 而 言 ,服务 器 内 存 可 以 通过 以 下 方法 判断 是 否 空余 。 
a 应 用 程序 可 用 内 存 /系统 物理 内 存 大 于 70% 时 ,表示 系统 内 存 资源 非常 充足 ,不 影响 


系统 性 能 ; 
a 应 用 程序 可 用 内 存 /系统 物 理 内 存 小 于 20% 时 ,表示 系统 内 存 资源 紧缺 ,需要 增加 系 
统 内 存 ; 


a 20% 过 应 用 程序 可 用 内 存 /系统 物理 内 存 小 于 70% 时 .表示 系统 内 存 资源 基本 能 满 





足 应 用 需求 ,暂时 不 影响 系统 性 能 。 
(4) 磁盘 L/O 性 能 评估 。 
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利用 iostat 评估 磁盘 性 能 ,监控 磁盘 1/0 读 写 及 带宽 ,如 图 15-9 所 示 。 


trootapr-171123 ~j# iostat -d 1 


10 
Linux 2.6.32-279.e16.x86 64 (PT-171123. 360buy. com) 


Device: tB Blk read/s  8lk wrtn/s 
sda 2.02 9.44 48.65 
Device: tps Blk read/s Blk wrtn/s 
sda 0. 0.00 0.00 
Device: G4 Blk read/s Blk wrtn/s 
sda 0. 0.00 0.00 
Device: m Blk read/s  8lk wrtn/s 
sda 0. 0.00 0.00 
Device: oe Blk read/s Blk wrtn/s 
sda 0. 0.00 0.00 
Device: tps Blk read/s — Blk wrtn/s 
sda 0.00 0.00 0.00 
Device: ps Blk read/s Blk wrtn/s 
sda 0. 0.00 0.00 
Device: T Blk_read/s Blk wrtn/s 
sda 0. 0.00 0.00 
15-9 


iostat 输出 结果 详解 如 下 : 


a Blk_read/s: 表示 每 秒 读 取 的 数据 块 数 。 
a BIk wrtn/s: 表示 每 秒 写 入 的 数据 块 数 。 


a Blk read: 表示 读 取 的 所 有 块 数 。 
a Blk_wrtn: 表示 写 人 的 所 有 块 数 。 


01/; 
Blk read 


75171924 
Blk read 
0 
Blk read 
0 
Blk read 
0 
Blk read 
0 
Blk read 
0 


Blk read 
0 


Blk read 
0 


22/2015 -x86 64 (16 cpu) 
Blk wrtn 
387376816 
Blk wrtn 
° 
Blk wrtn 
0 
Blk wrtn 
0 
Blk wrtn 
0 
Blk wrtn 
0 
Blk wrtn 
0 


Blk wrtn 
0 


iostat 评估 磁盘 性 能 


可 以 通过 Blk read/s 和 Blk wrtn/s 的 值 对 磁盘 的 读 写 性 能 有 基本 的 了 解 ,如 果 Blk_ 
wrtn/s 值 很 大 ,表示 磁盘 的 写 操作 很 频繁 ,可 以 考虑 优化 磁盘 或 者 优化 程序 ,如 果 Blk_ 
read/s 值 很 大 ,表示 磁盘 直接 读 取 操作 很 多 ,可 以 将 读 取 的 数据 放 入 内 存 中 进行 操作 。 

利用 sar 评估 磁盘 性 能 ,通过 sar -d 组合 ,可 以 对 系统 的 磁盘 W/O 做 基本 的 统计 ,如 


图 15-10 所 示 。 


[root&PT-171123 ~]# sar -d 1 10 


Linux 2.6.32-279.e16.x86 64 (PT-171123. 360buy. com) 01/22/2015 -x86 64 6 cru) 

03:26:41 PM DEV tps rd sec/s wr sec/s avgrq-sz avgqu-sz await svctm Xutil 
03:26:42 PM dev8-0 6.00 0.00 120.00 20.00 0.00 0.50 0.50 0.30 
03:26:42 PM DEV "Bs rd sec/s wr_sec/s a avgqu-sz await svctm Xutil 
03:26:43 PM dev8-0 o. 0.00 0.00 .00 0.00 0.00 0.00 0.00 
03:26:43 PM DEV "- rd sec/s wr sec/s ms avgqu-sz await svctm Sutil 
03:26:44 PM dev8-0 0. 0.00 0.00 .00 0.00 0.00 0.00 0.00 
03:26:44 PM DEV tps rd sec/s wr sec/s avgrq-sz avgqu-sz await svctm Xutil 
03:26:45 PM dev8-0 2.00 0.00 32.00 16.00 0.00 0.00 0.00 0.00 
03:26:45 PM DEV T rd sec/s wr sec/s d E avgqu-sz await svctm *Xutil 
03:26:46 PM dev8-0 0. 0.00 0.00 -00 0.00 0.00 0.00 0.00 
03:26:46 PM DEV tps rd sec/s wr sec/s bid ir avgqu-sz await svctm Xutil 
E add PM dev8-0 13. 0.00 110.89 .00 0.00 0.00 0.00 0.00 

图 15-10 ”sar 查看 系统 磁盘 1⁄O 
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sar 输出 结果 详解 如 下 : 

Q await: 表示 平均 每 次 设备 L/O 操作 的 等 待 时 间 ( 以 ms 为 单位 ) 。 

a svetm: 表示 平均 每 次 设备 L/O 操作 的 服务 时 间 ( 以 ms 为 单位 )。 

a Kutil 表示 1s 中 有 百 分 之 几 的 时 间 用 于 1/O 操作 

磁盘 1/O 性 能 ,评判 标准 为 正常 情况 下 svetm 应 该 是 小 于 await 值 的 ,而 svctm 的 大 小 
和 磁盘 性 能 有 关 ,CPU 、 内 存 的 负荷 也 会 对 svctm 值 造成 影响 ,过 多 的 请 求 也 会 间接 地 导致 
svctm 值 的 增加 。 

await 值 的 大 小 一 般 取决 于 svctm 的 值 和 I/O 队列 长 度 以 及 1/0 请 求 模式 ,如 果 svctm 
的 值 与 await 很 接近 ,表示 几乎 没有 VO 等 待 ,磁盘 性 能 很 好 ,如 果 await 的 值 远 高 于 svctm 
的 值 , 则 表示 10 队列 等 待 太 长 ,系统 上 运 竺 程序 将 变 慢 ,此 时 可 以 通过 更 换 更 快 的 
硬盘 来 解决 问题 。 

Yo util 项 的 值 也 是 衡量 磁盘 L/O 的 一 个 重要 指标 ,如 果 %% util 接近 10074 ,表示 磁盘 产 
生 的 1/O 请 求 太 多 ,1/O 系统 已 经 满 负 荷 的 在 工作 ,该 磁盘 可 能 存在 瓶颈 。 长 期 下 去 ,势必 
影响 系统 的 性 能 ,可 以 通过 优化 程序 或 者 通过 更 换 更 高 ,更 快 的 磁盘 来 解决 此 问题 。 

(5) 网 络 性 能 评估 
通过 ping 命令 检测 网 络 的 连通 性 ; 

a 通过 netstat -i 组 合 检测 网 络 接口 状况 ; 

a 通过 netstat -r 组合 检 测 系统 的 路 由 表 信息 ; 

a 统 的 网 络 运行 状态 

it. HAMS BOP ,详情 如 图 15-11 所 示 






的 应 





D 







通过 sar -n 组 合 显 示 系 


通过 iftop -i eth0 可 以 查看 网 卡 汤 








图 15-11 iftop 查看 系统 网 卡 流量 


a 
a 
a 
a 
a 
a 
a 
a 
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<=: 客户 端 流入 的 流量 。 

=>: 服务 器 端 流出 的 流量 。 

TX: 发 送 流量 。 

RX: 接收 流量 。 

TOTAL: 总 流量 。 

cumm: 运行 iftop 到 目前 时 间 的 总 流量 。 
peak: 流量 峰值 。 

rates: 分 别 表示 过 去 2s.10s.40s 的 平均 流量 。 
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4 | ”大 数据 备份 企业 实战 








随 着 互联 网 不 断 地 发 展 ,企业 对 运 维 人 员 的 能 力 要 求 也 越 来 越 高 ,尤其 是 要 求 运 维 人 员 
能 处 理 各 种 故障 、 专 研 自动 化 运 维 技术 、 云 计算 机 、 虚 拟 化 等 ,以 满足 公司 业务 的 快速 发 展 。 

本 章 向 读者 介绍 数据 库 备 份 方法 、 数 量 级 2TB 及 以 上 级 别 数 据 库 备份 方案 、 
xtrabackup 企业 工具 案例 演示 ,数据库 备份 及 恢复 实战 等 内 容 。 


16.1 企业 级 数据 库 备份 实战 


在 日 常 的 运 维 工 作 中 ,数据 是 公司 非常 重要 的 资源 ,尤其 是 数据 库 的 相关 信息 ,如 果 数 
据 丢 了 , 少 则 损失 几 千 元 ,高 则 损失 上 千 万 。 所 以 在 运 维 工作 中 要 及 时 注意 网 站 数据 的 备 
份 , 要 对 数据 库 进行 不 定期 的 备份 。 

企业 中 如 果 数 据 量 达到 TB 级别 ,维护 和 管理 是 非常 复杂 的 ,尤其 是 对 数据 库 进行 备份 
操作 。 


16.2 数据库 备 份 方法 及 策略 


企业 中 MySQL 数据 库 备份 最 常用 的 方法 如 下 : 
a 直接 cp 备份 ; 
sqlhotcopy 备份 ; 
主 从 同步 复制 ; 
Mysqldump 备份 ; 
xtrabackup 备份 。 

mysqldump 和 xtrabackup 均 可 以 备份 MySQL 数据 ,以 下 为 mysqldump 工具 使 用 
方法 。 

通常 小 于 100GB 的 MySQL 数据 库 可 以 使 用 默认 mysqldump 备份 工具 进行 备份 ,如 果 
是 超过 100GB 的 大 数据 ,由 于 mysqldump 备份 方式 是 采用 的 逻辑 备份 ,最 大 的 缺陷 是 备份 
和 恢复 速度 较 慢 。 


p 8 D D 
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基于 mysqldump 备份 耗 时 会 非常 长 ,而 且 备份 期 间 会 锁 表 , 锁 表 直接 导致 数据 库 只 能 
访问 select, A FET insert. update 等 操作 ,进而 导致 部 分 Web 应 用 无 法 写 人 新 数据 。 

如 果 是 myisam 引擎 表 ,当然 也 可 以 执行 参数 --lock-tables 二 false 禁用 锁 表 ,但 是 有 可 
能 造成 数据 信息 不 一 致 。 

如 果 是 支持 事务 的 表 , 例 如 innoDB 和 BDB.--single-transaction 参数 是 一 个 更 好 的 选 
择 , 因 为 它 不 锁定 表 , 具 体 应 用 如 下 : 


mysqldump 一 uroot - p123456 -- all- databases -- opt -- single - transaction > 2017all. sql 


其 中 --opt 快捷 选项 ,等 同 于 添加 --add-drop-tables --add-locking --create-option --disable- 
keys --extended-insert --lock-tables --quick --set-charset 选项 。 该 选项 能 让 mysqldump 很 
快 地 导出 数据 ,并 且 导 出 的 数据 能 很 快 导 回 。 该 选项 默认 开启 ,但 可 以 用 --skip-opt 禁用 。 

如 果 运 行 mysqldump 没有 指定 --quick 或 --opt 选项 , 则 会 将 整个 结果 集中 放 在 内 存 
中 。 如 果 导 出 大 数据 库 的 话 可 能 会 导致 内 存 江 出 而 异常 退出 。 


16.3 xtrabackup 企业 实战 


MySQL 1? f& mysqldump, MySQL 热 拷贝 均 不 能 实现 对 数据 库 进 行 增 量 备份 。 在 实 
际 环境 中 增 量 备份 非常 的 实用 ,如 果 数 据 量 小 于 100GB, 存 储 空间 足够 ,可 以 每 天 进行 完整 
备份 ,如 果 每 天 产生 的 数据 量 大 ,需要 定制 数据 备份 策略 。 例 如 每 周 日 使 用 完整 备份 ,周一 
到 周 六 使 用 增 量 备份 ,或 者 每 周 六 完整 备份 , 周 日 到 周 五 使 用 增 量 备份 。 

Percona-xtrabackup 是 为 实现 增 量 备份 而 生 的 一 款 主 流 备份 工具 , xtrabackup 有 两 个 
主要 工具 ,分 别 为 xtrabackup、innobackupex。 

Percona-xtrabackup 是 Percona 公司 开发 的 一 个 用 于 MySQL 数据 库 物 理 热 备 的 备份 
工具 。 支 持 MySQL .Percona server 及 MariaDB, 开 源 免费 ,是 目前 互联 网 数据 库 备份 最 主 
流 的 工具 之 一 。 

xtrabackup 只 能 备份 innoDB 和 xtraDB 两 种 数据 引擎 的 表 . 而 不 能 备份 MyISAM 数 
据 表 ,innobackupex 1. 5. 1 则 封装 了 xtrabackup, 是 一 个 封装 好 的 脚本 ,使 用 该 脚本 能 同时 
备份 处 理 innoDB 和 MyISAM., 但 在 处 理 MyISAM 时 需要 加 一 个 读 锁 。 

xtrabackup 备份 原理 : innobackupex 在 后 台 线 程 不 断 追 踪 innoDB 的 日 志文 件 ,然后 
复制 innoDB 的 数据 文件 。 数 据 文 件 复制 完成 之 后 ,日 志 的 复制 线程 也 会 结束 。 这 样 就 得 
到 了 不 在 同一 时 间 点 的 数据 副本 和 开始 备份 以 后 的 事务 日 志 。 完 成 上 面 的 步骤 之 后 ,就 可 
以 使 用 innoDB 崩溃 恢复 代码 执行 事务 日 志 (redo log) ,以 达到 数据 的 一 致 性 。 其 备份 优点 
WTF: 

a 备份 速度 快 ,物理 备份 更 加 可 靠 ; 

a 备份 过 程 不 会 打 断 正在 执行 的 事务 ,无 须 锁 表 ; 
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a 能 够 基于 压缩 等 功能 节约 磁盘 空间 和 流量 ; 

a 自动 备份 校 验 ; 

a 还 原 速度 快 ; 

a 可 以 流传 将 备份 传输 到 另外 一 台 机 器 上 ; 

a 节约 磁盘 空间 和 网 络 带宽 。 

innobackupex 工具 的 备份 过 程 原理 ,如 图 16-1 所 示 。 


(D =] start xtrabackup log 




















innobackupex copy.ibd; ibdatal 





FLUSH TABLES WITH READ LOCK 








copy. FRM; MYD; MY I; misc files 












Get binary log position 

















UNLOCK TABLES 








stop and copy xtrabackup log. 





图 16-1 innobackupex 备份 过 程 


innobackupex 备份 过 程 中 首先 启动 xtrabackup_log 后 台 检 测 的 进程 ,实时 检测 
MySQL redo 的 变化 ,一 旦 发 现 redo 有 新 的 日 志 写 入 ,立刻 将 日 志 写 入 到 日 志文 件 
xtrabackup log 中 ,并 复制 innoDB 的 数据 文件 和 系统 表 空 间 文件 idbdatal 到 备份 目录 。 

innode 引擎 表 备 份 完 之 后 ,执行 flush table with read lock 操作 进行 MyLSAM 表 备 
fy. 复制 . frm .myd . myi 文件 ,并 且 在 这 一 时 刻 获得 binary log 的 位 置 ,将 表 进 行 解锁 
unlock tables. Ik xtrabackup_log 进程 ,完成 整个 数据 库 的 备份 。 


16.4 Percona-xtrabackup 备份 实战 


基于 Percona-xtrabackup 备份 ,需要 以 下 几 个 步骤 。 
(1) 官网 下 载 Percona-xtrabackup. Percona 官方 wiki 使 用 帮助 如 下 。 


http://www. percona. com/docs/wiki/percona - xtrabackup: start 


wget 
http://www. percona. con/redir/downloads/XtraBackup/XtraBackup - 2. 0. 0/binary/Linux/x86_64/ 
percona - xtrabackup - 2. 0. 0. tar.gz 


(2) Percona-xtrabackup 软件 安装 方法 ,cp innobackupex, xtrabackup,xtrabackup 51, 
xtrabackup 55 工具 到 /usr/bin 目录 下 .代码 如 下 : 
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tar zxvf percona - xtrabackup - 2.0. 0. tar. gz 


cp percona- xtrabackup - 2. 0. 0/bin/innobackupex /usr/bin/innobackupex 


cp percona- xtrabackup - 2. 0. 0/bin/xtrabackup /usr/bin/xtrabackup 
cp percona- xtrabackup - 2.0.0/bin/xtrabackup 51 /usr/bin/xtrabackup 51 


cp percona- xtrabackup - 2. 0. 0/bin/xtrabackup 55 /usr/bin/xtrabackup 55 


(3) MySQL 数据 库 全 备份 ,代码 如 下 ,详情 如 图 16-2 Bron 。 


innobackupex -- user = root -- pa 


proces ocalhost - 


word = 123456 /data/backup/mysql/ 





] innobackupex --user=root --password-123456 /data/backup/mysql/ 


InnoDB Backup Utility v1.5.1-xtrabackup; Copyright 2003, 2009 Innobase Oy 
and Percona Inc 2 


009-2012. All Rights Reserved. 


This software is published under 
the GNU GENERAL PUBLIC LICENSE Version 2, June 1991. 


141220 00:10:18 

141220 00:10:18 

141220 00:10:24 

IMPORTANT: Please check that the backup run completes successfully. 
a 


所 示 


At the 
prints 


innobackupex: Starting mysql with options: --password=xxxxxxxx --user=' 
innobackupex: Connected to database with mysql child process (pid=7647) 
innobackupex: Connection to database server closed 


end of a successful 


ckup run innobackupex 
"completed OK 





(a) innobackupex 完 整备 份 (1) 


innobackupex: Backing file '/var/lib/mysq] //firstdb/first. tl.MvI' 
Backing file '/var/lib/mysql//firstdb/first tl.frm' 
Backing file '/var/lib/mysq1//firstdb/first_t1l.wMyD' 
: Backing up file '/var/lib/mysq1//firstdb/db.opt` 
: Backing files ‘/var/lib/mysql//nagios/*.{frm,MYD,MYI,MRG,TRG, TRN,ARM, 


: Backing 


:47 


up file '/var/lib/mysql//bbs/db.opt 
innobackupex: Finished backing up .frm, .MRG, .MYD, .MYI, .TRG, .TRN, 


: Resuming ibbackup 


xtrabackup: The 


latest check point (for incremental): '1606996" 


xtrabackup: Stopping 199 copying thread. 
6l 


.>> log scanned up to 


06996) 


xtrabackup: Transaction log of 1sn (1606996) to (1606996) was copied. 


141220 00:10:49 
141220 00:10:49 


innobackupex: All tables unlocked 
innobackupex: Connection to database server closed 


data/backup/mysq1/2014 


innobackupex: completed OK! š 


(4) innobackupex 数据 库 恢 复 . 恢 复 前 先 保 证 数 





(b) innobackupex 完 整备 份 (2) 


图 16-2 innobackupex 完整 备份 





一 致 性 .执行 如 下 命令 ,详情 如 图 16-3 


innobackupex -- defaults— file = /etc/my.cnf -- user = root -- password = 123456 -- apply- 
log /data/backup/mysq1/2014 - 12 - 20 00 - 10 - 24 
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图 16-3 innobackupex apply-log 恢复 





常数 据 库 备份 完成 后 ,数据 尚 不 能 直接 用 于 恢复 操作 ,因为 备份 数据 是 
备份 过 程 中 ,有 任务 会 写 人 数据 ,可 能 会 包含 尚未 提交 的 事务 或 已 经 提交 但 尚未 同步 至 数据 
文件 中 的 事务 。 

因此 此 时 数据 文件 仍 处 于 不 一 致 状态 ,基于 --apply-log 可 以 通过 回 滚 未 提交 的 事务 及 
同步 已 经 提交 的 事务 至 数据 文件 使 数据 文件 处 于 一 致 性 状态 , 方 可 进行 恢复 数据 ， 

apply-log 过 程 可 以 在 任何 机 器 上 运行 ,没有 强制 在 线 上 或 者 备份 库 上 运行 ,可 以 把 备 
份 复制 在 闲置 的 服务 器 上 去 运行 ,以 此 来 降低 备份 库 的 压力 ,但 必须 保证 backup 和 apply 
log 所 使 用 的 mysqlbackup 的 版 本 要 一 致 

(5) 原 数 据 目 录 /var/lib/mysql 数据 ,使 用 参数 - -copy-back 恢复 完整 数据 ,授权 
MySQL 用 户 给 所 有 的 数据 库 文件 ,代码 如 下 ,详情 如 图 16-4 所 示 














rm — rf /var/lib/mysql/ * 
innobackupex —— defaults - file = /etc/my.cnf —- user = mysql -- password = 123456 -- copy- 


back /data/backup/mysql/2014 - 12 - 20 00 - 10 - 24/ 
chown -R mysql:mysql /var/lib/mysql/ 





图 16-4 innobackupex 数据 恢复 


查看 数据 库 恢 复 信息 ,数据 完全 恢复 ,如 图 16-5 所 示 
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pyright 


Oracle is a ed trademark of 
affiliates ames may be trademar| 





图 16-5 innobackupex 数据 恢复 


16.5 innobackupex 增 量 备份 


JE 
际 上 进行 的 是 完全 备份 
COD 增 量 备份 之 前 必须 执行 完全 备份 代码 如 下 ,详情 如 图 16-6 所 示 


曾 量 备份 时 





= 
EE 
x 
is 
Ss 
uoc 
{3 
Pod 
x 
R 
>= 
x 
< 
te 
= 
by 
> 
法 





innobackupex -- user = root -- password = 123456 —- databases = wugk01 /data/backup/mysql/ 


in directory p/mysq1 /2014 
on: filena 
pleted 


xtrabackup_binlog_info 


/data/backup/my 
alhost 2014- 





图 16-6 innobackupex 完整 备份 
(2) 执行 第 一 次 增 量 备份 ,代码 如 下 : 


innobackupex ~~ defaults - file = /etc/my.cnf -- user = root ~~ password = 123456 -- databases 
= wugk01 -- incremental /data/backup/mysql/ —- incremental - basedir = /data/backup/mysql/ 
2014 - 12 - 20 13- 01 - 43/ 


增 量 备份 完 后 ,会 在 /data/backup/mysql/ 目 录 下 生成 新 的 备份 目录 ,如 图 16-7 所 示 。 
(3) 数据 库 插入 新 数据 ,如 图 16-8 所 示 。 


ated in 
og position 





16-7 





)1 v 
affected (0 





图 16-8 数据 库 插入 新 数据 
(4) 执行 第 二 次 增 量 备份 ,代码 如 下 ,详情 如 图 16-9 所 示 


innobackupex —- defaults - file = /etc/my. cnf --user= root 
= wugk01 incremental /data/backup/mysql/ 
2014-12-20 13-07- 31/ 


incremental 


ot loca qi] 
ootülocalhost mysql 
ntal /data/backup/m 


InnoDB Backup Utility 
and Percona Inc 20 


This soft published under 
UBLIC LICENSE Version 2, 


3:11:14  innobackupex: Starting m 
unbuffere 


d 


(a) 数据 库 增 量 备份 (1) 


141220 13:11 innob: 
[root@localhost mysq1]# innobackup 


-incrementa]-ba: 


[root&localhost mysq 


password = 123456 —- databases 
basedir = /data/backup/mysql/ 








(b) 数据 





tQ) 


图 16-9 数据 库 增 量 备份 
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16.6 MySOL 增 量 备份 恢复 


删除 原 数据 库 中 表 及 数据 记录 信息 ,如 图 16-10 Bron. 





图 16-10 删除 数据 库 表 及 数据 记录 信息 


MySQL 增 量 备份 数据 恢复 方法 步骤 如 下 
(1) 基于 apply-log 确保 数据 一 致 性 ,代码 如 下 : 


innobackupex -- defaults- file = /etc/my. cnf -- user = root -- password = 123456 -- apply 
log —- redo - only /data/backup/mysq1/2014 - 12 — 20_13 - 01 - 43/ 


(2) 执行 第 一 次 增 量 数据 恢复 ,代码 如 下 : 


innobackupex -- defaults- file = /etc/my. cnf user = root password = 123456 —- apply 
log —- redo - only /data/backup/mysql/2014 - 12 20 13 - 01 - 43/ —- incremental - dir = /data/ 
backup/mysql/2014 - 12-20 13- 07 -31/ 


(3) 执行 第 二 次 增 量 数据 恢复 ,代码 如 下 : 


innobackupex -- defaults - file = /etc/my. cnf -- user = root -- password = 123456 -- apply- 
log —- redo - only /data/backup/mysql/2014 - 12- 20 13 - 01 - 43/ —- incremental - dir = /data/ 
backup/mysq1/2014 - 12-20 13- 11 - 20/ 


整数 据 恢复 ,代码 如 下 : 


innobackupex -- defaults - file = /etc/my.cnf -- user = root -- password = 123456 -- copy- 
back /data/backup/mysql/2014 - 12 - 20 13 - 01 - 43/ 


(5) 测试 数据 库 已 完全 恢复 ,如 图 16-11 所 示 








(4) 执行 5 








图 16-11 数据 库 表 
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说 到 shell 编程 ,很 多 从 事 Linux 运 维 工作 的 朋友 都 不 陌生 ,都 对 shell 有 基本 的 了 解 ， 
读者 可 能 刚 开始 接触 shell 的 时 候 , 有 各 种 想法 ,感觉 编程 非常 困难 ,但 shell 编程 是 所 有 编 
程 语言 中 最 容易 上 手 , 最 容易 学 习 的 编程 脚本 语言 。 

本 章 向 读者 介绍 shell 编程 入 门 、shell 编程 变量 、if、while、for、case、select 基本 语句 案 
例 演练 及 shell 编程 四 剑客 find grep awk sed 深度 剖析 等 内 容 。 


17.1 shell 编程 入 门 简介 


曾经 有 人 说 过 ,学 习 Linux 不 知道 shell 编程 , 那 就 是 不 懂 Linux, 现 在 细 细 品味 确实 是 
BORE. shell 是 操作 系统 的 最 外 层 ,shell 可 以 合并 编程 语言 以 控制 进程 和 文件 ,以 及 启动 和 
控制 其 他 程序 。 

shell 通过 提示 您 输入 ,向 操作 系统 解释 该 输 
入 ,然后 处 理 来 自 操作 系统 的 任何 结果 输出 ,简单 来 
说 shell 就 是 一 个 用 户 跟 操作 系统 之 间 的 一 个 命令 
解释 器 。 

shell 是 用 户 与 Linux 操作 系统 之 间 沟 通 的 桥 
梁 , 用 户 可 以 输入 命令 执行 ,又 可 以 利用 shell 脚本 
编程 去 运行 ,如 图 17-1 所 示 。 

Linux shell 种 类 非常 多 ,常见 的 shell 如 下 : 

a bourne shell(/usr/bin/sh 或 /bin/sh); 


shell 


a bourne again shell(/bin/bash) ; utilites 
a C shellC/usr/bin/csh) ; 

a K shellC/usr/bin/ksh) ; 图 17-1 shell,utilites 及 kernel 位 置 关系 

a shell for root(/sbin/sh) 。 

不 同 的 shell 语言 的 语法 有 所 不 同 ,一 般 不 能 交换 使 用 ,最 常用 的 shell 是 bash, 也 就 是 
bourne again shell, bash 由 于 易 用 和 免费 ,在 日 常 工作 中 被 广泛 使 用 ,也 是 大 多 数 Linux 操 
作 系 统 默认 的 shell 环境 。 
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shell shell 编程 .shell 脚本 shell 命令 之 间 都 有 什么 区 别 呢 ? 简单 来 说 : shell 是 一 个 
整体 的 概念 ,shell 编程 与 shell 脚本 统称 为 shell 编程 ,shell 命令 是 shell 编程 底层 具体 的 语 
句 和 实现 方法 。 


17.2 shell 脚本 及 Hello World 


要 熟练 掌握 shell 编程 语言 ,需要 大 量 的 练习 ,初学 者 可 以 用 shell TED" Hello World" 
字符 ,寓意 着 开始 新 的 启程 ! 

shell 脚本 编程 需要 注意 以 下 几 个 事项 : 

a shell 脚本 名 称 命名 一 般 为 英文 的 大 写 ,小写 ; 

a 不 能 使 用 特殊 符号 .空格 来 命名 ; 

qa shell JAG ALLA. sh 结尾 ; 

a 不 建议 shell 命名 为 纯 数字 ,一 般 以 脚本 功能 命名 ; 

a shell 脚本 内 容 首 行 需 以 并 1/bin/bash 开头 ; 

a shell 脚本 中 变量 名 称 尽量 使 用 大 写字 母 ,字母 间 不 能 使 用 *-”, 可 以 使 用 *_”; 

a shell 脚本 变量 名 称 不 能 以 数字 ,特殊 符号 开头 。 

以 下 为 第 一 个 shell 编程 脚本 ,脚本 名 称 为 first shell. sh, 代 码 如 下 : 

#!/bin/bash 

#This is my First shell 

# By author jfedu. net 2017 

echo "Hello World " 

first. shell. sh 脚本 内 容 详解 如 下 : 

a Zl/bin/bash; 固定 格式 ,定义 该 脚本 所 使 用 的 shell 类 型 。 

a # This is my First shell; 并 号 表示 注释 ,没有 任何 的 意义 ,shell 不 会 解析 它 。 

a ZBy author jfedu. net 2017; 表示 脚本 创建 人 ,# 号 表示 注解 。 

a echo “Hello World !" shell 脚本 主 命令 ,执行 该 脚本 呈现 的 内 容 。 

shell 脚本 编写 完毕 ,如 果 和 运行 该 脚本 ,运行 用 户 需要 有 执行 权限 ,可 以 使 用 chmod o 十 x 
first shell. sh 赋予 可 执行 权限 。 然 后 . /first_shell. sh 执行 即 可 ,还 可 以 直接 使 用 命令 执 
行 /bin/sh first. shell. sh 直接 运行 脚本 ,不 需要 执行 权限 ,最终 脚 本 执行 显示 效果 一 样 。 

初学 者 学 习 shell 编程 ,可 以 将 在 shell 终端 运行 的 各 种 命令 依次 写 入 到 脚本 内 容 中 ,可 
以 把 shell 脚本 当成 是 shell 命令 的 堆积 。 


17.3 shell 编程 之 变量 详解 


shell 属于 非 类 型 的 解释 型 语言 ,在 使 用 变量 时 不 像 C++ JAVA 语言 编程 时 需要 事先 
声明 变量 ,shell 给 一 个 变量 赋值 ,实际 上 就 是 定义 了 变量 ,在 Linux 支持 的 所 有 shell 中 ,都 
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可 以 用 赋值 符号 “三 ”为 变量 赋值 .shell 为 弱 类 型 语言 ,定义 变量 不 需要 声明 类 型 ,如 果 在 使 
用 时 需要 明确 变量 的 类 型 ,可 以 使 用 declare 指定 类 型 , declare 常见 参数 如 下 : 
a 十 /一 : “一 ”可 用 来 指定 变量 的 属性 ,“ 十 ”为 取消 变量 所 设 的 属性 。 
a -f: 仅 显示 函数 。 
a r; 将 变量 设置 为 只 读 。 
a x: 指定 的 变量 会 成 为 环境 变量 ,可 供 shell 以 外 的 程序 来 使 用 。 
a i: 指定 类 型 为 数值 ,字符 串 或 运算 式 。 
shell 编程 中 变量 分 为 3 fb: 系统 变量 .环境 变量 ,用 户 变量 ,其 中 系统 变量 在 对 参数 判 
断 和 命令 返回 值 判断 时 使 用 ,而 环境 变量 则 主要 是 在 程序 运行 时 需要 设置 ,用 户 变量 又 称 为 
局 部 变量 ,多 使 用 在 shell 脚本 内 部 或 者 临时 局 部 。 
shell 变量 名 在 定义 时 , 首 个 字符 必须 为 字母 (a 一 z,A 一 Z) ,不 能 以 数字 开头 ,中 间 不 能 
有 空格 ,可 以 使 用 下 面 线 “_”, 不 能 使 用 "一 ”, 也 不 能 使 用 标点 符号 等 。 
例如 定义 变量 A=jfedu. net, 定 义 这 样 一 个 变量 , A 为 变量 名 ,jfedu. net 是 变量 的 值 ， 
变量 名 有 格式 规范 ,变量 的 值 可 以 随意 指定 。 变 量 定义 完成 ,如 需要 引用 变量 ,可 以 使 
用 $A。 
var. sh 脚本 内 容 如 下 : 
# ! /bin/bash 
# By author jfedu. net 2017 
A=123 
echo "Printf variables is $A." 
执行 该 shell 脚本 ,结果 将 会 显示 Printf variables is jfedu. net, shell 常见 的 系统 变量 、 
环境 变量 ,用户 变 量 详解 如 下 。 
(1) shell 编程 常见 系统 变量 如 下 : 
a $0. 当前 脚本 的 名 称 。 
a $n; 当前 脚本 的 第 n 个 参数 .n= 二 1,2,….9。 
$x : 当前 脚本 的 所 有 参数 (不 包括 程序 本 身 ) 。 
$# : 当前 脚本 的 参数 个 数 (不 包括 程序 本 身 ) 。 
$7: 命令 或 程序 执行 完 后 的 状态 ,返回 0 表示 执行 成 功 。 
$$: 程序 本 身 的 PID 号 。 
2) shell 编程 常见 环境 变量 如 下 : 
PATH: 命令 所 示 路 径 , 以 冒号 为 分 割 。 
HOME: 打印 用 户 家 目录 。 
SHELL: 显示 当前 shell 类 型 。 
USER: 打印 当前 用 户 名 。 
ID: 打印 当前 用 户 ID 信息 。 
PWD: 显示 当前 所 在 路 径 。 
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a TERM; 打印 当前 终端 类 型 。 

a HOSTNAME: 显示 当前 主机 名 。 

(3) shell 编程 用 户 变量 如 下 : 

a A=jfedu. net; 自 定义 变量 A, 

a N SOFT- nginx-1. 12. 0. tar. gz: 自 定 义 变量 N_SOFT. 
a BACK DIR — /data/backup/: 自 定义 变量 BACK DIR, 
a IP1—192.168.1. 11; 自 定义 变量 IP1。 

a IP2—192.168.1.12; 自 定义 变量 IP2。 

创建 echo 打印 菜单 shell 脚本 ,代码 如 下 : 


#1!1/bin/bash 

#auto install httpd 

#By author jfedu. net 2017 

echo - e '\033[32m----------------------------- \033[0m' 
FILE = httpd- 2.2. 31. tar. bz2 

URL = http://mirrors. cnnic. cn/apache/httpd/ 

PREFIX = /usr/local/apache2/ 

echo - e "\033[ 36mPlease Select Install Menu: \033[ 0m" 

echo 

echo "1) 官 方 下 载 Httpd 文件 包 ." 

echo "2) 解 压 apache 源码 包 ." 

echo "3) 编 译 安装 Httpd 服务 器 ." 

echo "4) 启 动 HTTPD 服务 器 ." 

echo - e '\033[32m ----------------------------- \033[om' 
sleep 20 


运行 脚本 ,执行 结果 如 图 17-2 所 示 


sh auto_httpd.sh 


tüHttpd 


kapachej 


图 17-2 echo 打印 菜单 脚本 


17.4 ”if 条 件 语句 实战 


Linux shell 编程 中 .if、for、while、case 等 条 件 流程 控制 语句 用 得 非常 多 ., 交 


流程 控制 语句 及 语法 的 实战 ,对 编写 shell 脚本 有 非常 大 的 益处 。 
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让 条 件 判断 语句 ,通常 以 让 开头 ,fi 结尾。 也 可 加 入 else 或 者 elif 进行 多 条 件 的 判断 ,if 


表达 式 如 下 : 
if (表达 式 ) 
语句 1 
else 
语句 2 
fi 
让 语句 shell 脚本 编程 案例 如 下 。 
D 比较 两 个 整数 大 小 ,代码 如 下 : 
#!/bin/bash 
# By author jfedu. net 2017 
NUM = 100 
if (( SNUM» 4 )) ; then 
echo "The Num SNUM more than 4." 
else 


echo "The Num SNUM less than 4." 
fi 


(2) 判断 系统 目录 是 否 存在 ,代码 如 下 : 


# 1! /bin/bash 

# judge DIR or Files 

# By author jfedu. net 2017 

if [ ! -d /data/20140515 -a ! - d /tmp/2017/ ]; then 
mkdir -p /data/20140515 

见 的 判断 逻辑 运算 符 详解 如 下 : 

-E 判断 文件 是 否 存 在 ,例如 if[-f filename ]。 

-d: 判断 目录 是 否 存在 ,例如 if[ -d dir]. 

-eq: 等 于 ,应 用 于 整 型 比较 , 即 equal。 

-ne: 不 等 于 ,应 用 于 整 型 比较 , 即 not equal。 

-lt: 小 于 ,应 用 于 整 型 比较 , 即 letter。 

-gt: 大 于 ,应 用 于 整 型 比较 , 即 greater, 

-le: 小 于 或 等 于 ,应 用 于 整 型 比较 。 

-ge: 大 于 或 等 于 ,应 用 于 整 型 比较 。 

-a: 双方 都 成 立 (and) ,用 法 为 逻辑 表达 式 -a 逻辑 表达 式 。 
-0: 单方 成 立 (or) ,用 法 为 逻辑 表达 式 -o 逻辑 表达 式 。 
-z: 空 字符 串 。 

l: 单方 成 立 。 

&&& ;双方 都 成 立 表达 式 。 


ak 





D D DDD DDD OD DDD OD 
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(3) 寺 多 个 条 件 测试 分 数 判 断 , 代 码 如 下 : 


#!/bin/bash 

# By author jfedu. net 2017 

scores = $1 

if [[ $scores - eq 100 ]]; then 
echo "very good! "; 

elif [[ $scores - gt 85 ]]; then 
echo "good! "; 

elif [[ $scores - gt 60 ]]; then 
echo "pass! "; 

elif [[ $scores - 1t 60 ]]; then 
echo "no pass!" 

fi 


17.5 if FURS RS 


CEE if a YH HAO OCEL OERE S F AJLA CS fi S XC 
对 比 。 
a Os 用 于 多 个 命令 组 、 命 令 替 换 、 初 始 化 数组 。 
a (COO: 整数 扩展 ,运算 符 、 重 定义 变量 值 ,算术 运算 比较 。 
a []: bash 内 部 命令 [与 test 是 等 同 的 ,正则 字符 范围 ,引用 数组 元 素 编 号 ,不 支持 
“十 ”“ 一 ”"“#”“/” 数 学 运算 符 , 逻 辑 测试 使 用 -a、-o。 
a [n bash i pie EUR 不 是 一 个 命令 ,[[]] 结 构 比 口 结构 更 加 通用 ,不 支持 
十 ”一 ”“%”“/” 数 学 运算 符 ,逻辑 测试 使 用 &.&.、| 。 
tg 


17.6 MySOL 数据库 备份 脚本 


MySQL 数据 库 备 份 是 运 维 工程 师 的 工作 之 一 ,以 下 为 自动 备份 MySQL 数据 库 脚 本 ， 
代码 如 下 : 


#!/bin/bash 

#auto backup mysql 

# By author jfedu. net 2017 

# Define PATH 定义 变量 
BAK DIR- /data/backup/mysql/'date + %Y- &m- *d' 

MYSQLDB = webapp 

MYSQLPW = backup 

MYSQLUSR = backup 

# must use root user run scripts 必须 使 用 root 用 户 运 行 , SUID 为 系统 变量 
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de 
[ SUID - ne 0 ]; then 
echo This script must use the root user ! ! ! 
sleep 2 
exit 0 
fi 
# Define DIR and mkdir DIR 判断 目录 是 否 存在 ,不 存在 则 新 建 
if 
[ ! -d $BAKDIR ]; then 
mkdir — p $BAKDIR 
fi 
# Use mysqldump backup Databases 
/usr/bin/mysqldump - u $MYSQLUSR - p $MYSQLPW -d $MYSQLDB > SBAKDIR/webapp db. sql 
echo "The mysql backup successfully " 


17.7 LAMP 一 键 自动 化 安装 脚本 


通过 前 面 章节 对 if 语句 和 变量 的 学 习 , 接 下 来 编写 一 键 源码 安装 LAMP 脚本 ,编写 脚 
本 要 养 成 先 分 解 脚本 各 个 功能 的 习惯 ,这 样 有 利于 快速 写 出 脚本 , 写 出 更 高 效 的 脚本 。 

一 键 源码 安装 LAMP 脚本 ,可 以 拆 分 为 如 下 功能 : 

Q) LAMP 打印 菜单 。 

a 安装 Apache Web 服务 器 ; 

a 安装 MySQL DB 服务 器 ; 

a 安装 PHP 服务 器 ; 

a 整合 LAMP 架构 ; 

a 启动 LAMP 服务 。 

(2) Apache 服务 器 安装 部 署 。 

Apache 官网 下 载 httpd-2. 2. 31. tar. gz 版 本 ,解压 ,进入 安装 目录 ,执行 configure、 
make make install fit. 

(3) MySQL 服务 器 的 安装 。 

MySQL 官网 下 载 mysql-5. 5. 20. tar. gz 版 本 ,解压 ,进入 安装 目录 ,执行 configure, 
make make install 命令 。 

(4) PHP 服务 器 安装 。 

PHP 官网 下 载 php-5. 3. 8. tar. gz 版 本 ,解压 ,进入 安装 目录 ,执行 configure、 make、 
make install 命令 。 

(5) LAMP 整合 及 服务 启动 ,代码 如 下 : 

vi /usr/local/apache2/htdocs/ index. php 


<?php 
phpinfo(); 
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I> 
/usr/local/apache2/bin/apachectl restart 
service mysqld restart 


一 键 源码 安装 LAMP 脚本 «auto. install lamp. sh 内 容 如 下 : 


# ! /bin/bash 
# auto install LAMP 
# By author jfedu. net 2017 
# Httpd define path variable 
H FILES = httpd- 2.2.31. tar. bz2 
H FILES DIR- httpd- 2.2.31 
H URL = http://mirrors. cnnic. cn/apache/httpd/ 
H PREFIX = /usr/local/apache2/ 
# MySQL define path variable 
M FILES = mysql - 5.5.20. tar.gz 
M FILES DIR- mysql - 5.5.20 
M URL = http://downl. chinaunix. net/distfiles/ 
M_PREFIX = /usr/local/mysql/ 
# PHP define path variable 
P FILES = php - 5. 3.28. tar. bz2 
P FILES DIR- php- 5.3.28 
P URL- http://nirrors. sohu. con/php/ 
P PREFIX = /usr/local/php5/ 
echo =e 'N033[32ga————— S$ $$ === 55 X033[0n* 
echo 
if [ -z "$1" ]; then 
echo - e "\033[36mPlease Select Install Menu follow: V033[0nm" 
echo - e "V033[32n 
1) 编 译 安装 Apache 服务 器 \033[lm" 
echo "2) 编 译 安装 MySQL 服务 器 " 
echo "3) 编 译 安装 PHP 服务 器 " 
echo "4) 配 置 index. php 并 启动 LAMP 服务 " 
echo - e "N033[31mUsage: ( /bin/sh $0 1|2|3|4|help)N033[0m" 
exit 
fi 
if [[ "$1" - eq "help" ]]; then 
echo - e "\033[36mPlease Select Install Menu follow:V033[0m" 
echo - e "\033[32m1l) 编 译 安 装 Apache 服务 器 \033[1m" 
echo "2) 编 译 安装 MySQL, 服务 器 " 
echo "3) 编 译 安装 PHP 服务器” 
echo "4) 配 置 index. php 并 启动 LAMP 服务 ” 
echo - e "\033[31mUsage: { /bin/sh $0 1|2|3|4|he1p)N033[0m" 
exit 
fi 
# Install httpd web server 
if [[ "$1" -eq "1" ]]; then 
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wget -c $H URL/SH FILES && tar - jxvf $H FILES && cd $H FILES DIR &&./configure -— 
prefix- $H PREFIX 
if[ $? -1t 0 ]; then 
make && make install 
fi 
fi 
# Install Mysql DB server 
if [[ "$1" ~ eq "2" ]]; then 
wget -c $M URL/SM FILES && tar — xzvf $M FILES && cd $M FILES DIR &&yum install cmake - y ; cmake 
— DCMAKE INSTALL PREFIX- $M PREFIX V 
— DMYSQL UNIX ADDR = /tmp/nysql.sock V 
— DMYSQL DATADIR = /data/mysql V 
- DSYSCONFDIR = /etc V 
— DMYSQL USER = mysql V 
- DMYSQL TCP PORT = 3306 V 
- DWITH XTRADB STORAGE ENGINE = 1 \ 
- DWITH INNOBASE STORAGE ENGINE = 1 V 
— DWITH PARTITION STORAGE ENGINE- 1 V 
- DWITH BLACKHOLE STORAGE ENGINE = 1 V 
- DWITH MYISAM STORAGE ENGINE = 1 \ 
- DWITH_READLINE = 1 V 
- DENABLED_LOCAL_INFILE = 1 V 
— DWITH_EXTRA_CHARSETS = 1 V 
— DDEFAULT CHARSET = utf8 V 
- DDEFAULT COLLATION = utf8 general ci V 
— DEXTRA CHARSETS = all V 
- DWITH BIG TABLES = 1 V 
- DWITH DEBUG = 0 
make && make install 
/bin/cp support - files/my - small. cnf /etc/my.cnf 
/bin/cp support - files/mysql. server /etc/init.d/mysqld 
chmod + x /etc/init.d/mysqld 
chkconfig -- add mysqld 
chkconfig mysqld on 
if [ $? -eq0 ]; then 
make && make install 
echo -e "\n\033[ 32m --——---------—------------------------------- \033[0m" 
echo - e "\033[32mThe $M_FILES DIR Server Install Success !\033[0m" 


else 
echo - e "\033[32mThe $M FILES DIR Make or Make install ERROR, Please 
Check...... " 
exit 0 

fi 


fi 
# Install PHP server 
if [[ "$1" — eq "3" ]]; then 
wget -c $P URL/SP FILES && tar — jxvf $P FILES && cd $P FILES DIR &&. /configure —— 
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prefix- $P PREFIX -- with- config— file- path= $P PREFIX/etc -- with- mysql = $M PREFIX 
—— with- apxs2 = $H PREFIX/bin/apxs 
if [ $? -eq0 ]; then 


make ZEND EXTRA LIBS- ' — liconv' && make install 
echo - e "\n\033[32m ----------------------------------- \033[ Om" 
echo - e "\033[32mThe $P_FILES DIR Server Install Success !V033[0n" 

else 
echo - e "\033[32mThe $P FILES DIR Make or Make install ERROR, Please 
Check...... A 
exit 0 

fi 


fi 

if [[ "$1" -eq "4" ]]; then 
sed - i '/DirectoryIndex/s/index. html/index.php index.html/g' $H PREFIX/conf/httpd. conf 
$H PREFIX/bin/apachectl restart 
echo "AddType application/x- httpd- php . php" >> $H PREFIX/conf/httpd. conf 
IP = 'ifconfig ethl|grep "Bcast"|awk '(print $2}'|cut — d: - f2" 
echo "You can access http: //$IP/" 

cat » $H PREFIX/htdocs/index. php «« EOF 

<?php 

phpinfo(); 

?> 


17.8 for 循环 语句 实战 


for 循环 语句 主要 用 于 对 某 个 数据 域 进行 循环 读 取 、 对 文件 进行 遍历 ,通常 用 于 循环 某 
个 文件 或 者 列表 。 其 语法 格式 以 for…do 开头 ,done 结尾 。 语 法 格式 如 下 : 


for var in (表达 式 ) 
do 
语句 1 


done 


for 循环 语句 shell 脚本 编程 案例 如 下 。 
COD 循环 打印 BAT 企业 官网 .代码 如 下 : 


# ! /bin/bash 
# By author jfedu. net 2017 
for website in www. baidu. com www. taobao. com www. qq. com 
do 
echo $website 
done 


300 <| 曝光 : Linux 企 业 运 维 实战 


(2) 循环 打印 1 一 100 数字 ,seq 表示 列 出 数据 范围 ,代码 如 下 : 


#!/bin/bash 
# By author jfedu. net 2017 
for i in 'seq 1 100' 
do 

echo "NUM is $i" 
done 


(3) for 循环 求 1 一 100 的 总 和 ,代码 如 下 : 


#!/bin/bash 
# By author jfedu. net 2017 
#auto sum 1 100 


j=0 
for ((i=1; i<=100; i++)) 
do 
j='expr $i + $j' 
done 
echo $j 
CD 对 系统 日 志文 件 进行 分 组 打包 ,代码 如 下 : 
# !/bin/bash 


# By author jfedu. net 2017 
for i in 'find /var/log - name" * . log’ 
do 


tar -czf 2017 log $i.tgz $i 
done 


(5) for 循环 批量 远程 主机 文件 传输 ,代码 如 下 : 


# ! /bin/bash 
# auto scp files for client 
# By author jfedu. net 2017 
for i in 'seq 100 200' 
do 
scp -r /tmp/jfedu. txt root@192.168.1. $i:/data/webapps/www 
done 


(6) for 循环 批量 远程 主机 执行 命令 ,代码 如 下 : 


# ! /bin/bash 
# auto scp files for client 
# By author jfedu. net 2017 
for i in 'seq 100 200' 
do 
ssh - 1 root 192.168.1. $i 'ls /tmp' 
done 
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(7) for 循环 打印 10s 等 待 提 示 ,代码 如 下 : 


for ((j=0; j<=10; j++)) 

do 
echo - ne "N033[ 32m — V033[ 0n" 
sleep 1 

done 


echo 


17.9 while 循环 语句 实战 


while 循环 语句 与 for 循环 功能 类 似 , 主 要 用 于 对 某 个 数据 域 进行 循环 读 取 、 对 文件 进 
行 遍 历 , 通 常用 于 循环 某 个 文件 或 者 列表 ,满足 循环 条 件 会 一 直 循 环 , 不 满足 则 退出 循环 ,其 
语法 格式 以 while…do 开头 ,done 结尾 。 语 法 格式 如 下 : 


while (表达 式 ) 
do 
语句 1 


done 


while 循环 语句 shell 脚本 编程 案例 如 下 。 
(1) 循环 打印 BAT 企业 官网 ,read 指令 用 于 读 取 行 或 者 读 取 变 量 ,代码 如 下 : 


# ! /bin/bash 
# By author jfedu. net 2017 
while read line 
do 
echo $line 
done < jfedu. txt 


其 中 jfedu.txt 内 容 如 下 : 


www. baidu. com 
www. taobao. com 


www. qq. com 


(2) while 无 限 每 秒 输 出 Hello World .代码 如 下 : 


#!/bin/bash 
# By author jfedu. net 2017 
while sleep 1 
do 
echo - e "\033[32mHello World. \033[0m" 
done 
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其 中 jfedutxt 内 容 如 下 : 


www. baidu. com 
www. taobao. com 


www. qq. com 


(3) 循环 打印 1—100 数字 ,expr 用 于 运算 逻辑 工具 ,代码 如 下 : 


#!/bin/bash 
# By author jfedu. net 2017 
i=0 
while ((i<=100)) 
do 

echo $i 

i-'expr $i + 1' 
done 


(4) while 循环 求 1 一 100 的 总 和 ,代码 如 下 : 


#!/bin/bash 

# By author jfedu. net 2017 

# auto sum 1 100 

j=0 

i=1 

while ((i<=100)) 

do 
j='expr Si + $j' 
((it+)) 

done 

echo $j 


(5) while 循环 逐 行 读 取 文件 ,代码 如 下 : 


# !/bin/bash 
# By author jfedu.net 2017 
while read line 
do 
echo $line; 
done < /etc/hosts 


(6) while 循环 判断 输入 IP 正确 性 ,代码 如 下 : 


# !/bin/bash 

# By author jfedu.net 2017 

# Check IP Address 

read - p "Please enter ip Address, example 192.168.0.11 ip": IPADDR 

echo $IPADDR|grep - v "[Aa- Zz]"|grep -- color -E "([0- 9](1,3)V.) (3[0 - 9](1,3)" 
while[ $? -ne0 J 

do 
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read - p "Please enter ip Address, example 192.168.0.11 ip": IPADDR 
echo SIPADDR|grep - v "[Aa-Zz]"|grep -- color -E "([0 -9](1,3)V.) (3)[0 - 9](1,3)" 
done 


(7) 每 5s 循环 判断 /etc/passwd 是 否 被 非法 修改 ,代码 如 下 : 


#!/bin/bash 

# Check File to change 

# By author jfedu. net 2017 

FILES = "/etc/passwd" 

while true 

do 
echo "The Time is 'date + &F- $T'" 
OLD = 'md5sum $FILES|cut - d" " -f 1' 
sleep 5 
NEW = 'md5sum $FILES|cut - d" " -f 1' 
if [[ SOLD != $NEW ]]; then 

echo "The $FILES has been modified." 

fi 

done 


(8) 每 10s 循环 判断 jfedu 用 户 是 否 登 录 系 统 ,代码 如 下 : 


#!/bin/bash 
#Check File to change. 
# By author jfedu. net 2017 


USERS = " jfedu" 
while true 
do 


echo "The Time is 'date + $F- &T'" 
sleep 10 
NUM = 'who| grep " SUSERS"|wc -1' 
if [[ $NUM -ge 1 ]]; then 
echo "The $USERS is login in system.” 
fi 


done 


17.10 case 选择 语句 实战 


case 选择 语句 主要 用 于 对 多 个 选择 条 件 进行 匹配 输出 ,与 if…elif 语句 结构 类 似 , 通 常 
用 于 脚本 传递 输入 参数 ,打印 出 输出 结果 及 内 容 , 其 语法 格式 以 case…in 开头 ,esac 结尾 。 
语法 格式 如 下 : 

# ! /bin/bash 


# By author jfedu. net 2017 
case $1 in 
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Patternl) 
语句 1 
Pattern2) 
语句 2 
Pattern3) 
语句 3 

ii 


esac 


case 条 件 语句 shell 脚本 编程 案例 如 下 。 
(1) 打印 monitor 及 archive 选择 菜单 ,代码 如 下 : 


#!/bin/bash 
# By author jfedu. net 2017 
case $1 in 
monitor) 
monitor_log 
HH 
archive) 
archive log 
ë 
help) 
echo - e "\033[32mUsage:{ $0 monitor | archive | help )VO33[ 0m" 


pr 


*) 

echo - e "\033[32mUsage:{ $0 monitor | archive | help }\033[0m" 
esac 
(2) 自动 修改 IP 脚本 菜单 ,代码 如 下 : 
# ! /bin/bash 


# By author jfedu. net 2017 
case $i in 
modify ip) 
change ip 
modify hosts) 
change hosts 
exit) 
exit 
*) 
echo - e"1) modify ip\n2) modify ipin3)exit" 
esac 
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17.11 select 选择 语句 实战 


select 语句 一 般 用 于 选择 ,常用 于 选择 菜单 的 创建 ,可 以 配合 PS3 来 做 打印 菜单 的 输出 
信息 ,其 语法 格式 以 select…in do 开头 ,done 结尾 ,语法 格式 如 下 : 





select i in (表达 式 ) 
do 
语句 


done 


select 选择 语句 shell 脚本 编程 案例 如 下 。 
CD 打印 开源 操作 系统 选择 ,代码 如 下 : 


#!/bin/bash 
# By author jfedu. net 2017 
PS3 = "What you like most of the open source system?" 
select i in CentOS RedHat Ubuntu 
do 
echo "Your Select System: "$i 
done 


(2) 打印 LAMP 选择 菜单 ,代码 如 下 : 


# ! /bin/bash 
# By author jfedu. net 2017 
PS3 = "Please enter you select install menu:" 
select i in http php mysq1 quit 
do 
case $i in 
http) 
echo Test Httpd 
ii 
php) 
echo Test PHP 
mysql) 
echo Test MySQL 
quit) 
echo The System exit 
exit 
esac 


done 
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17.12 shell 编程 函数 实战 


shell 允许 将 一 组 命令 集 或 语句 形成 一 个 可 用 块 ,这 些 块 称 为 shell 函数 ,shell 函数 的 好 
处 在 于 只 需 定 义 一 次 ,后 期 随时 使 用 ,无 须 在 shell 脚本 中 添加 重复 的 语句 块 ,其 语法 格式 为 
VJ" function name(){” 开 头 ,以 “)” 结 尾 。 

shell 编程 函数 默认 不 能 将 参数 传人 (内 部 ,shell 函数 参数 传递 在 调用 函数 名 称 时 传 
递 ,例如 name argvl argv2, 具 体 代码 如 下 : 


function name ()( 
command1 
command2 


} 


name argvl argv2 


(1) 创建 Apache 软件 安装 函数 ,给 函数 Apache. install 传递 参数 1 ,代码 如 下 : 


# ! /bin/bash 
# auto install LAMP 
# By author jfedu. net 2017 
# Httpd def ine path variable 
H FILES = httpd- 2.2.31. tar. bz2 
H FILES DIR- httpd- 2.2.31 
H URL = http://mirrors. cnnic. cn/apache/httpd/ 
H PREFIX- /usr/local/apache2/ 
function Apache install() 
{ 
# Install httpd web server 
if [[ "$1" -eq"1" ]]; then 

wget -c $H URL/SH FILES & tar — jxvf $H FILES && cd $H FILES DIR &&./configure —- prefix 
7 $H PREFIX 

if[ $? - eq 0 ]; then 

make && make install 


echo - e "\n\033[32m -——-—------------------------------------- \033[ 0m" 
echo - e "\033[32mThe $H FILES DIR Server Install Success !\033[0m" 
else 
echo - e "\033[32mThe $H FILES DIR Make or Make install ERROR, Please Check...... = 
exit 0 
fi 
fi 
} 


Apache_install 1 
(2) 创建 judge_ip 判断 IP 函数 ,代码 如 下 : 
# ! /bin/bash 
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# By author jfedu. net 2017 
judge_ip()( 
read - p "Please enter ip Address, example 192.168.0.11 ip": IPADDR 
echo SIPADDR|grep - v "[Aa- Zz]"|grep -— color -E"([0-9](1,3)V.) (3)[0 - 91(1,3)" 
) 
judge_ip 


17.13 shell 编程 四 剑客 之 find 


通过 如 上 基础 语法 的 学 习 , 读 者 对 shell 编程 有 了 更 进一步 的 理解 ,shell 编程 不 再 是 简 
单 命令 的 堆积 ,而 是 演变 成 了 各 种 特殊 的 语句 、 各 种 语法 .编程 工具 、 各 种 命令 的 集合 。 

在 shell 编程 工具 中 ,四 剑客 工具 的 使 用 更 加 广泛 ,shell 编程 四 剑客 包括 find, sed, 
grep awk, 熟练 掌握 四 剑客 会 对 shell 编程 能 力 有 极 大 地 提升 。 

四 剑客 之 find 工具 实战 ,find 工具 主要 用 于 操作 系统 文件 .目录 的 查找 ,其 语法 参数 格 
式 如 下 : 


find path -option [ - print ] [ - exec -ok command ] CPM 


其 中 option 常用 参数 详解 如 下 : 

a -name filename: 查找 名 为 filename 的 文件 。 
a -type b/d/c/p/1/{: 查找 块 设备 、 目 录 、 字 符 设备 ,管道 ,符号 链接 ,普通 文件 。 
o -size nic]: 查找 长 度 为 n 块 [或 n 字 节 ] 的 文件 。 
9 -perm: 按 执行 权限 来 查找 。 

a -user username; 按 文件 属 主 来 查找 。 
a -group groupname; 按 组 来 查找 。 

a -mtime —n +n; 按 文件 更 改 时 间 来 查找 文件 ,一 n 指 n 天 以 内 ,十 n 指 n 天 以 前 。 

a -atime —n +n; 按 文件 访问 时 间 来 查找 文件 。 

a -ctime 一 n +n; 按 文件 创建 时 间 来 查找 文件 。 

o -mmin 一 n + n; 按 文件 更 改 时 间 来 查找 文件 ,一 n 指 n 分 钟 以 内 ,二 n 指 nn 分钟 
以 前 。 

-amin 一 n 十 n: 按 文件 访问 时 间 来 查找 文件 。 

-cmin 一 n 十 n: 按 文 件 创建 时 间 来 查找 文件 。 

-nogroup: 查找 无 有 效 属 组 的 文件 。 

-nouser; 查找 无 有 效 属 主 的 文件 。 

-newer f1 ! f2: 查找 文件 ,一 n 指 n 天 以 内 ,十 n 指 n 天 以 前 。 

-depth: 在 进入 子 目录 前 先行 查找 完 本 目录 。 

-fstype: 查找 更 改 时 间 比 f1 新 但 比 £2 旧 的 文件 。 
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a -mount: 查找 文件 时 不 跨越 文件 系统 mount 点 。 

a -follow: 如 果 遇 到 符号 链接 文件 ,就 跟踪 链接 所 指 的 文件 。 

a -cpio: 查找 位 于 某 一 类 型 文件 系统 中 的 文件 。 

a -prune: 忽略 某 个 目录 。 

a -maxdepth: 查找 目录 级 别 深度 。 

(D find 工具 -name 参数 案例 ,详解 如 下 : 

a find /data/ -name " * txt"; 查找 /data/ 目录 以 :txt 结尾 的 文件 。 

a find /data/ -name "[ A-Z] * "; 查找 /data/ 目 录 以 大 写字 母 开头 的 文件 。 
a find /data/ -name "test * ": 井 查找 /data/ 目 录 以 test 开头 的 文件 。 

(2) find 工具 -type 参数 案例 ,详解 如 下 : 

a find /data/ -type d: 查找 /data/ 目 录 下 的 文件 夹 。 

ind /data/ ! -type d: 查找 /data/ 目 录 下 的 非 文 件 夹 。 

find /data/ -type l: 查找 /data/ 目 录 下 的 链接 文件 。 

find /data/ -type d| xargs chmod 755 -R; 查找 目录 类 型 并 将 权限 设置 为 755。 
ind /data/ -type f| xargs chmod 644 -R: 查找 文件 类 型 并 将 权限 设置 为 644。 
3) find 工具 -size 参数 案例 ,详解 如 下 : 

ind /data/ -size 十 1M: 查找 文件 大 小 大 于 1MB 的 文件 。 

ind /data/ -size 10M; 查找 文件 大 小 为 10MB 的 文件 。 

ind /data/ -size -1M: 查找 文件 大 小 小 于 1MB 的 文件 。 

(A) find 工具 -perm 参数 案例 ,详解 如 下 : 

o find /data/ -perm 755; 查找 /data/ 目 录 权 限 为 755 的 文件 或 者 目录 。 

Q find /data/ -perm -007: 与 -perm 777 相同 ,表示 所 有 权限 。 

a find /data/ -perm 十 644: 查找 文件 权限 符号 为 644 以 上 的 文件 。 

(5) find 工具 -mtime 参数 案例 ,详解 如 下 : 

a atime,access time; 文件 被 读 取 或 者 执行 的 时 间 。 

a ctime,change time: 文件 状态 改变 时 间 。 

a mtime,modify time: 文件 内 容 被 修改 的 时 间 。 

a find /data/ -mtime +30-name "*. log"; 查找 30 天 以 前 的 log 文件 。 

Q find /data/ -mtime -30-name " x txt"; 查找 30 天 以 内 的 log 文件。 

a find /data/ -mtime 30-name " x txt", 查找 第 30 天 的 log 文件 。 

a find /data/ -mmin +30-name " * . log": 查找 30min 以 前 修改 的 log 文件 。 
Q find /data/ -amin -30-name " * txt": 查找 30min 以 内 被 访问 的 log 文件。 
a find /data/ -cmin 30-name " * txt"; 查找 第 30min 改变 的 log 文件 。 

(6) find 工具 参数 综合 案例 ,代码 如 下 : 


— D D oo 


oo D 





第 17 章 shell 企业 编程 基础 | 309 


# 查 找 /data 目录 以 . 1og 结 尾 ,文件 大 于 10KB 的 文件 ,同时 cp 到 /tmp 目录 

find /data/ - name " x .1og" -type f — size * 10k - exec cp {} /tmp/ V; 

# 查 找 /data 目录 以 txt 结尾 ,文件 大 于 10KB 的 文件 ,权限 为 644 并 删除 该 文件 

find /data/ - name" x .log" -type f — size * 10k - m perm 644 - exec rm -rf {} V; 
# 查 找 /data 目录 以 . 1og 结 尾 ,30 天 以 前 的 文件 ,大 小 大 于 10MB 并 移动 到 /tmp 目录 
find /data/ - name" * .log" -type f —mtime +30 -size +10M -exec mv {} /tmp/ V; 


17.14 shell 编程 四 剑客 之 sed 


sed 是 一 个 非 交 互 式 文本 编辑 器 , 它 可 对 文本 文件 和 标准 输入 进行 编辑 ,标准 输入 可 以 
来 自 键盘 输入 、 文 本 重 定向 、 字 符 串 、 变 量 ,甚至 来 自 于 管道 的 文本 ,与 vim 编辑 器 类 似 , 它 
一 次 处 理 一 行内 容 , sed 可 以 编辑 一 个 或 多 个 文件 ,简化 对 文件 的 反复 操作 ,编写 转换 程 
序 等 。 

在 处 理 文本 时 把 当前 处 理 的 行 存储 在 临时 缓冲 区 中 , 称 为 “模式 空间 ”(pattern space)， 
紧 接着 用 sed 命令 处 理 缓冲 区 中 的 内 容 , 处 理 完 成 后 把 缓冲 区 的 内 容 输出 至 屏幕 或 者 写 人 
文件 。 逐 行 处 理 直 到 文件 末尾 ,然而 如 果 打 印 在 屏幕 上 ,实质 文件 内 容 并 没有 改变 ,除非 用 
户 使 用 重 定向 存储 输出 或 者 写 人 文件 。 其 语法 参数 格式 如 下 : 


sed [~ Options] [ 'Connands' ] filename; 


sed 工具 默认 处 理 文本 ,文本 内 容 输出 屏幕 已 经 修改 ,但 是 文件 内 容 其 实 没 有 修改 , 需 
要 加 -i 参数 , 即 对 文件 彻底 修改 。 有 具体 参数 详解 如 下 : 
q oxi 指定 行 号 。 
x,y: 指定 从 x 到 y 的 行 号 范围 。 
/pattern/ : 查询 包含 模式 的 行 。 
/ pattern/pattern/ : 查询 包含 两 个 模式 的 行 。 
/pattern/ ,x: 从 与 pattern 的 匹配 行 到 x 号 行 之 间 的 行 。 
x. /pattern/: 从 x 号 行 到 与 pattern 的 匹配 行 之 间 的 行 。 
xy! 查询 不 包括 x 和 y 行 号 的 行 。 
r: 从 另 一 个 文件 中 读 文件 。 
w: 将 文本 写 入 到 一 个 文件 。 
y: 变换 字符 。 
q: 第 一 个 模式 匹配 完成 后 退出 。 
1: 显示 与 八进制 ASCII 码 等 价 的 控制 字符 。 
Os 在 定位 行 执行 的 命令 组 。 
p: 打印 匹配 行 。 
=; 打印 文件 行 号 。 
a\: 在 定位 行 号 之 后 追加 文本 信息 。 
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N: 在 定位 行 号 之 前 插 和 人 文本 信息 。 

d: 删除 定位 行 。 

cV: 用 新 文本 替换 定位 文本 。 

s: 使 用 替换 模式 蔡 换 相应 模式 。 

n: 读 取 下 一 个 输入 行 ,用 下 一 个 命令 处 理 新 的 行 。 
N: 将 当前 读 和 人行 的 下 一 行 读 取 到 当前 的 模式 空间 。 
h: 将 模式 缓冲 区 的 文本 复制 到 保持 缓冲 区 。 

: 将 模式 缓冲 区 的 文本 追加 到 保持 缓冲 区 。 

xi 互 换 模式 缓冲 区 和 保持 缓冲 区 的 内 容 。 

g: 将 保持 缓冲 区 的 内 容 复 制 到 模式 缓冲 区 。 

G: 将 保持 缓冲 区 的 内 容 追 加 到 模式 缓冲 区 。 
常用 sed 工具 企业 演练 案例 如 下 。 

(1) 替换 jfedutxt 文本 中 old 为 new, 代 码 如 下 : 


oooooooodoaods 
T 


sed 's/old/new/g' jfedu. txt 

(2) 打印 jfeduaxt 文本 第 一 行 至 第 三 行 ,代码 如 下 ， 

sed — -n'1,3p' jfedu. txt 

(3) 打印 jfedutxt 文本 中 第 一 行 与 最 后 一 行 , 代 码 如 下 : 

sed -n'lp; $p' jfedu. txt 

(4) JER jfedu.txt 第 一 行 至 第 三 行 \ 删 除 匹 配 行 至 最 后 一 行 ,代码 如 下 : 
sed — '1,3d' jfedu. txt 

sed '/ jfedu/, $d' jfedu. txt 


(5) 删除 jfedusxt 最 后 6 行 及 删除 最 后 一 行 ,代码 如 下 : 


for iin'seql6';dosed -i  '$d'jfedu txt ; done 
sed '$d' jfedu. txt 


(6) 删除 jfedutxt 最 后 6 行 .代码 如 下 : 


Sed '" $d' jfedu. txt 

(7) 在 jfedu.txt 查找 jfedu 所 在 行 ,并 在 其 下 一 行 添加 word 字符 ,a 表示 在 其 下 一 行 添 
加 字符 串 ,代码 如 下 : 

sed '/jfedu/aword' jfedu. txt 


(8) 在 jfedu.txt 查找 jfedu 所 在 行 ,并 在 其 上 一 行 添加 word 字符 ,i 表示 在 其 上 一 行 添 
加 字符 串 ,代码 如 下 : 
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sed '/ jfedu/ iword' jfedu. txt 


(9) 在 jfedu.txt 查找 以 . test 结尾 的 行 ,在 其 行 尾 添加 字符 串 word. $ 表示 结尾 标识 ， 
& 在 sed 中 表示 添加 ,代码 如 下 : 


sed  's/test$/&word/g'  jfedu.txt 


(10). f£ jfedu.txt 查找 www 的 行 ,在 其 行 首 添加 字符 串 word, ^ 表示 起 始 标识 ,& 在 
sed 中 表示 添加 ,代码 如 下 : 


sed '/ww/s/"/Sword/' ^ jfedu.txt 

(11) 多 个 sed 命令 组 合 ,使 用 -e 参数 ,代码 如 下 : 

sed - e '/www. jd. com/s/^ /&1. /' — e 's/www. jd. con $/&. /g' jfedu. txt 
(12) 多 个 sed MEAE «()10 415" i" 4 REAN F : 

sed - e '/www. jd. con/s/^ /&1. /; s/www. jd. com $/&. /g' jfedu. txt 


(13) sed 读 取 系 统 变量 ,进行 变量 替换 ,代码 如 下 : 


WEBSITE = WWW. JFEDU. NET 
sed "s/www. jd. con/SWEBSITE/g" jfedu. txt 


(14) 修改 SELinux 策略 enforcing 为 disabled. 查找 /SELINUX/ 行 ,然后 将 其 行 
enforcing 值 改 成 disabled. !s 表示 不 包括 SELINUX 47 .代码 如 下 : 


sed -i '/SELINUX/s/enforcing/disabled/g' /etc/selinux/config 
sed -i '/SELINUX/!s/enforcing/disabled/g' /etc/selinux/config 


通常 而 言 ,sed 将 待 处 理 的 行 读 和 模式 空间 ,脚本 中 的 命令 逐 行 进行 处 理 , 直 到 脚本 执 
行 完毕 ,然后 该 行 被 输出 ,模式 空间 清空 ,然后 重复 刚才 的 动作 ,文件 中 的 新 的 一 行 被 读 和 人， 
直到 文件 处 理 完 备 。 

如 果 用 户 希 望 在 某 个 条 件 下 脚本 中 的 某 个 命令 被 执行 ,或 者 希望 模式 空间 得 到 保留 以 
便 下 一 次 的 处 理 ,都 有 可 能 使 得 sed 在 处 理 文件 的 时 候 不 按照 正常 的 流程 来 进行 。 这 时 可 
以 使 用 sed 高 级 语法 来 满足 用 户 需求 。 总 的 来 说 ,sed 高 级 命令 可 以 分 为 以 下 3 种 功能 。 

a N,D,P. 处 理 多 行 模式 空间 的 问题 。 

a H.h.G.g.x: 将 模式 空间 的 内 容 放 入 存储 空间 以 便 接 下 来 的 编辑 。 

a ;.b.t; 在 脚本 中 实现 分 支 与 条 件 结构 。 

Q) f£ jfedu.txt 每 行 后 加 入 空 行 ,也 即 每 行 占用 两 行 空间 ,每 一 行 后 边 插入 一 行 空 行 、 
两 行 空 行 及 前 三 行 每 行 后 插入 空 行 ,代码 如 下 : 

sed '/^ $/d; G' jfedu. txt 

sed '/^ $/d; G; G' jfedu.txt 

sed '/^ $/d; 1,3G; ' — jfedu.txt 
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(2) 将 jfedu.txt 偶数 行 删除 及 隔 两 行 删除 一 行 :代码 如 下 : 


sed "n; d' jfedu. txt 

sed "n; n; d' jfedu. txt 

(3) 在 jfedu.txt 匹配 行 前 一 行 \ 后 一 行 插入 空 行 以 及 同时 在 匹配 前 后 插入 空 行 ,代码 
如 下 : 

sed '/jfedu/(x; p; x; }' jfedu.txt 

sed '/ jfedu/G' jfedu. txt 

sed '/jfedu/(x; p; x; G; )jfedu. txt 


(4) 在 jfedutxt 每 行 后 加 入 空 行 ,也 即 每 行 占用 两 行 空间 ,每 一 行 后 边 搬入 空 行 ,代码 如 下 : 

sed '/^ $/d; G' jfedu. txt 

(5) 在 jfedu.txt 每 行 后 加 入 两 行 空 行 ,也 即 每 行 占用 三 行 空间 ,每 一 行 后 边 插入 空 行 ， 
代码 如 下 : 

sed '/^ $/d; G; G' jfedu. txt 

(6) 在 jfedu.txt 每 行 前 加 入 顺序 数字 序号 ` 加 上 制 表 符 “\t" 及 "符号 ,代码 如 下 : 

sed = jfedu.txt| sed 'N; s/\n/ /' 
sed = jfedu.txt| sed 'N; s/\n/\t/' 


sed = jfedu.txt| sed 'N; s/\n/\./' 


CT) 删除 jfeduaxt 行 前 和 行 尾 的 任意 空格 ,代码 如 下 : 


a 


's/^[ Nc] *//; s/[ Nc] * $//' jfedu. txt 
(8) 打印 jfedu.txt 关键 词 old 与 new 之 间 的 内 容 ,代码 如 下 ; 


se 


sed -n '/old/,/new/'p jfedu. txt 


(9) 打印 及 删除 jfedu.txt 最 后 两 行 .代码 如 下 : 


sed ‘SIN; $ID' jfedu. txt 
sed 'N; $!P; $!D; $d' jfedu. txt 
(10) 合并 上 、 下 两 行 ,也 即 两 行 合 并 ,代码 如 下 : 
sed "SIN; s/w /' jfedu. txt 
sed 'N; s/n /' jfedu. txt 


17.15 shell 编程 四 剑客 之 awk 


awk 是 一 个 优良 的 文本 处 理工 具 .Linux 及 UNIX 环境 中 现 有 的 功能 最 强大 的 数据 处 
理 引 擎 之 一 ,以 Aho、Weinberger、Kernighan 三 位 发 明 者 名 字 首 字母 命名 为 awk,awk 是 一 
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个 行 级 文本 高 效 处 理工 具 ,awk 经 过 改进 生成 的 新 的 版 本 有 nawk gawk. — ff Linux 默认 
为 gawk. gawk 是 awk 的 GNU 开源 免费 版 本 。 

awk 基本 原理 是 逐 行 处 理 文件 中 的 数据 ,查找 与 命令 行 中 所 给 定 内 容 相 匹配 的 模式 ,如 
果 发 现 匹 配 内 容 , 则 进行 下 一 个 编程 步骤 ,如 果 找 不 到 匹配 内 容 , 则 继续 处 理 下 一 行 。 其 语 
法 参数 格式 如 下 : 


awk 'pattern * [action]" file 


awk 常用 参数 .变量 .函数 详解 如 下 。 

(1) awk 基本 语法 参数 详解 如 下 : 

a 单 引 号 ' ' 是 为 了 和 shell 命令 区 分 开 。 

a 大 括号 { } 表 示 一 个 命令 分 组 。 

a pattern 是 一 个 过 滤器 ,表示 匹配 pattern 条 件 的 行 才 进 行 action 处 理 。 
0 action 是 处 理 动 作 , 常 见 动作 为 print。 

a 使 用 # 作 为 注释 ,pattern 和 action 可 以 只 有 其 一 ,但 不 能 两 者 都 没有 。 
(2) awk 内 置 变 量 详 解 如 下 : 

a FS; 分 隔 符 ,默认 是 空格 。 

a OFS; 输出 分 隔 符 。 

a NR; 当前 行 数 , 从 1 开始 。 

a NF; 当前 记录 字段 个 数 。 

a $0: 当前 记录 。 

a $1— $n: 当前 记录 第 n 个 字段 ( 列 ) 。 

(3) awk 内 置 函数 详解 如 下 : 

gsub(r's): 在 $0 中 用 s (UF r. 

index(s,t): 返回 s 中 +t 的 第 一 个 位 置 。 
length(s) : s 的 长 度 。 

match(s,r); s 是 否 匹 配 r. 

split(s.a.fs): 在 fs 上 将 s 分 成 序列 a, 
substr(s.p): 返回 s M p 开始 的 子 串 。 

(4) awk 常用 操作 符 .运算 符 及 判断 符 , 详 解 如 下 : 


DOO DU DO 








a : 增加 与 减少 (前 置 或 后 置 ) 。 

a ^ xx : 指数 ( 右 结合 性 ) 。 

a | + —: 非 一 元 (unary) 加 号 一 元 减 号 。 
a + — * /%: 加 \ 减 乘除 ,余数 。 

a <<= == |= > > 一 : 数字 比较 。 

a &&, 3E ff and 

a W248 or 








314 <| 曝光 : Linux 企 业 运 维 实战 














a : x= /= Y=* xx 一 : 赋值 。 
G) awk 与 流程 控制 语句 如 下 : 

a ifCcondition) { } else { }; 

a while { }; 

a do{ }while(condition) ; 

a 

a 


for(init; condition; step) | }; 


break/continue, 

常用 awk 工具 企业 演练 案例 。 

(1) awk 打印 硬盘 设备 名 称 , 默 认 以 空格 为 分 割 ,代码 如 下 : 

df — h|awk '(print $1)' 

(2) awk 以 空格 冒号、\t\ 分 号 为 分 割 ,代码 如 下 : 

awk -F'[ :\t; ]' '(print $1)" jfedu. txt 

(3) awk 以 冒号 分 割 ,打印 第 一 列 , 同 时 将 内 容 追 加 到 /tmp/awk. log F ,代码 如 下 : 

awk -F: '(print $1»»"/tnp/awk. log" }' jfedu. txt 

(4) 打印 jfedutxt 文件 中 的 第 3 行 至 第 5 (3. NR 表示 打印 行 , $0 表示 文本 所 有 域 , 代 
码 如 下 : 

awk 'NR== 3, NR==5 {print}' jfedu. txt 

awk 'NR == 3,NR==5 (print $0}' jfedu. txt 

(5) 打印 jfeduaxt 文件 中 的 第 3 行 至 第 5 行 的 第 一 列 与 最 后 一 列 , 代 码 如 下 : 

awk 'NR == 3,NR==5 (print $1, SNF)' jfedu. txt 

(6) 打印 jfedutxt 文件 中 长 度 大 于 80 的 行 号 ,代码 如 下 : 

awk 'length( $0)> 80 (print NR)" jfedu. txt 

(7) awk 引用 shell 变量 ,使 用 -v 或 者 双 引 号 十 单 引 号 即 可 ,代码 如 下 : 

awk - v STR= hello '(print STR, $NF] " jfedu. txt 


STR = "hello"; echo| awk '(print "'${STR}'"; )' 
(8) awk 以 冒号 切割 .打印 第 一 列 同时 只 显示 前 5 行 ,代码 如 下 : 


cat /etc/passwd|head — 5|awk - F: "(print $1)" 
awk - F: 'NR»- 18&NR«- 5 (print $1}' /etc/passwd 


(9) awk 指定 文件 jfedu.txt 第 一 列 的 总 和 ,代码 如 下 : 
cat jfedu.txt |awk '{sum+= $1}END{print sum)" 


(10) awk NR 行 号 除 以 2 余数 为 0 则 跳 过 该 行 ,继续 执行 下 一 行 ,打印 在 屏幕 ,代码 
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如 下 : 
awk -F: 'NR$2--0 {next} {print NR, $1}' /etc/passwd 
(11) awk 添加 自 定义 字符 ,代码 如 下 : 
ifconfig eth0|grep "Bcast"|awk '(print "ip " $2}' 


(12) awk 格式 化 输出 passwd 内 容 ,print 打印 字符 串 ,% 格 式 化 输出 分 隔 符 ,s 表示 字 
符 串 类 型 ,一 12 表示 12 个 字符 ,一 6 表示 6 个 字符 ,代码 如 下 : 


awk - F: '{printf "€ —12s % -6s % —8s\n", $1, $2, $NF}' /etc/passwd 

(13) awk OFS 输出 格式 化 \t, 代 码 如 下 : 

netstat — an|awk ' $6 ~ /LISTEN/&&NR>= 1&&NR « - 10 (print NR, $4, $5, $6]' OFS="\t" 
(14) awk 与 这 组 合 实战 ,判断 数字 比较 ,代码 如 下 : 

echo 3 2 1 | awk '( if(( $1>$2) || ($12 $3)) ( print $2) else (print $1) }' 

(15) awk 与 数组 组 合 实战 ,统计 passwd 文件 用 户 数 , 代 码 如 下 : 


awk -F ':''BEGIN (count = 0; ) {name[count] = $1; count++; ); END(for (i = 0; i« NR; i++) 
print i, name[i]}' /etc/passwd 


(16) awk 分 析 Nginx 访问 日 志 的 状态 码 404,502 等 错误 信息 页 面 ,统计 次 数 大 于 20 
的 IP 地址 ,代码 如 下 : 


awk '(if ($9—/502|499|500|503|404/) print $1, $9}' access. log| sort | uniq -c| sort -nr |awk ' 
{if( $1>20) print $2)' 


(17) 用 /etc/shadow 文件 中 的 密 文部 分 替换 /etc/passwd 中 的 “x” 位 置 , 生 成 新 的 / 
tmp/passwd 文件 ,代码 如 下 : 


awk 'BEGIN[OFS = FS=":"} NR== FNR(a[ $1] = $2}NR> FNR{ $2 = al $1]; print >>"/tmp/passwd"}' / 
etc/shadow /etc/passwd 


(18) awk 统计 服务 器 状态 连接 数 FURIA F : 


netstat — an | awk '/tcp/ (s[ $NF]++} END {for(a in s) (printa,s[a]]]' 
netstat -an | awk '/tcp/ (print $NF}' | sort | uniq - c 


17.16 shell 编程 四 剑客 之 grep 


全 面 搜索 正则 表达 式 (global search regular expression( re) ,grep) 是 一 种 强大 的 文本 搜 
索 工 具 , 它 能 使 用 正则 表达 式 搜索 文本 ,并 把 匹配 的 行 打印 出 来 。 
UNIX/Linux 的 grep 家 族 包 括 grep.egrep 和 fgrep, 其 中 egrep 和 fgrep 的 命令 跟 grep 
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有 细微 的 





区 别 ,egrep 是 grep 的 扩展 ,支持 更 多 的 re 元 字符 ,fgrep 是 fixed grep 或 fast grep 


的 简写 ,它们 把 所 有 的 字母 都 看 作 单词 ,正则 表达 式 中 的 元 字符 表示 其 自身 的 字面 意义 ,不 
再 有 其 他 特殊 的 含义 ,一 般 使 用 比较 少 。 


目前 


Linux 操作 系统 默认 使 用 GNU 版 本 的 grep。 它 功能 更 强 , 可 以 通过 -G、-E、 下 命 


令 行 选项 来 使 用 egrep 和 fgrep 的 功能 。 其 语法 格式 如 下 : 


grep 
grep 
a -a 


Q-c 


D O D DD 0 


8: 


- [acinv] 'word" Filename 


常用 参数 详解 如 下 : 


: 以 文本 文件 方式 搜索 。 
: 计算 找到 的 符合 行 的 次 数 。 
: 忽略 大 小 写 。 


: 顺便 输出 行 号 。 


: 反 向 选择 , 即 显示 不 包含 匹配 文本 的 所 有 行 。 


: 查询 多 文件 时 不 显示 文件 名 。 


: 查询 多 文件 时 只 输出 包含 匹配 字符 的 文件 名 。 


不 显示 不 存在 或 无 匹配 文本 的 错误 信息 。 


q -E: 允许 使 用 egrep 扩展 模式 匹配 。 


学 习 


grep 时 ,需要 了 解 通配符 、 正 则 表达 式 两 个 概念 ,很 多 读者 容易 把 彼此 混淆 , 通 配 


符 主要 用 在 Linux 的 shell 命令 中 ,常用 于 文件 或 者 文件 名 称 的 操作 ,而 正则 表达 式 用 于 文 
本 内 容 中 的 字符 串 搜索 和 替换 ,常用 在 awk grep. sed, vim 工具 中 对 文本 的 操作 。 
通配符 类 型 详解 如 下 : 


口 关 
7i 
# 
l: 
ë. 
!: 
t 
{} 


D D D DU DU D 





E 


* 


oo oO 


: 0 个 或 者 多 个 字符 ,数字 。 
匹配 任意 一 个 字符 。 

: 表示 注解 。 

管道 符号 。 


: 多 个 命令 连续 执行 。 


: 后 台 运 行 指令 。 

逻辑 运算 非 。 

: 内 容 范 围 ,匹配 括号 中 内 容 。 
: 命令 块 ,多 个 命令 匹配 。 


E 则 表达 式 详解 如 下 : 


: 前 一 个 字符 匹配 0 次 或 多 次 。 
匹配 除了 换行 符 以 外 任意 一 个 字符 。 


. * : 代表 任意 字符 。 


a^. 匹配 行 首 , 即 以 某 个 字符 开头 。 


a$ 


: 匹配 行 尾 , 即 以 某 个 字符 结尾 。 
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a NC: 标记 匹配 字符 。 

a []: 匹配 中 括号 里 的 任意 指定 字符 ,但 只 匹配 一 个 字符 。 

a [^]: 匹配 除 中 括号 以 外 的 任意 一 个 字符 。 

a A: 转 义 符 , 取 消 特殊 含义 。 

o A<; 锚 定 单词 的 开始 。 

a X>; 锚 定 单词 的 结束 。 

a (n): 匹配 字符 出 现 n 次 。 

a (n,): 匹配 字符 出 现 大 于 等 于 n 次 。 

a {n,m}: 匹配 字符 至 少 出 现 n 次 ,最 多 出 现 m 次 。 

a Nw; 匹配 文字 和 数字 字符 。 

a NW; Aw 的 反 置 形式 ,匹配 一 个 或 多 个 非 单词 字符 。 

a Nb: 单词 锁定 符 。 

a As: 匹配 任何 空白 字符 。 

a Md: 匹配 一 个 数字 字符 ,等 价 于 [0-9]。 

常用 grep 工具 企业 演练 案例 详解 如 下 : 

Q grep -c "test"; jfedu.txt 统计 test 字符 总 行 数 。 

a grep -i "TEST"; jfedu.txt 不 区 分 大 小 写 查找 TEST 所 有 的 行 。 

a grep -n "test"; jfedutxt 打印 test 的 行 及 行 号 。 

a grep -v "test"; jfedu.txt 不 打印 test 的 行 。 

a grep "test[53]": jfedu.txt 以 字符 test 开头 , 接 5 或 者 3 的 行 。 

a grep "^[^test]" ; jfedu.txt 显示 输出 行 首 不 是 test 的 行 。 

a grep "LMmjay": jfedu.txt 匹配 M 或 m 开头 的 行 。 

a grep " 民 …D": jfedutxt 匹配 K, 三 个 任意 字符 , 紧 接 D 的 行 。 

a grep "LA-Z][9]D" : jfedu.txt 匹配 大 写字 母 , 紧 跟 9D 的 字符 行 。 

a grep "T\{2,\}": jfedutxt 打印 字符 工 字符 连续 出 现 2 次 以 上 的 行 。 

a grep "T\(4,6\}": jfedutxt 打印 字符 了 字符 连续 出 现 4 次 及 6 次 的 行 。 

a grep -n "^$"; jfedu.txt 打印 空 行 的 所 在 的 行 号 。 

a grep -YE "4 |^ $"; jfedutxt 不 匹配 文件 中 的 站 和 空 行 。 

Q grep --color -ra -E "db|config|sql" * : jfedu.txt 匹配 包含 db 或 者 config 或 者 sql 
的 文件 。 

a grep --color -E "N<([0-9](1,3)NX.)(3)([0-9]1(1.3))N>"; jfedutxt 匹配 IPv4 地 址 。 


17.17 shell 数组 编程 


数组 是 相同 数据 类 型 的 元 素 按 一 定 顺 序 排列 的 集合 ,把 有 限 个 类 型 相同 的 变量 用 一 个 
名 字 命 名 ,然后 用 编号 区 分 它们 变量 的 集合 ,这 个 名 称 即 为 数组 名 ,编号 即 为 下 标 。Linux 
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shell 编程 中 常用 一 维 数组 。 
数组 的 设计 实际 上 是 为 了 处 理 方便 ,把 具有 相同 类 型 的 若干 变量 按 有 序 的 形式 组 织 起 
来 的 一 种 形式 ,以 减少 重复 频繁 的 单独 定义 , 如 -H 
图 17-3 所 示 。 2/77/8377 ia 887 
定义 数组 一 般 以 小 括号 的 方式 来 定义 ,数组 的 ) X A UE R 


值 可 以 随机 指定 ,以 下 为 一 维 数组 的 定义 ,统计 . 引 a [5 fam [am na] ; 
和 删除 操作 详解 。 2 Z 
JFTEST = ( —Ht 
testl 


test2 图 17-3 一 维 ,二 维 、 三 维 数组 
test3 





aul 





















(1) 一 维 数组 定义 及 创建 ,代码 如 下 : 3 | an | mm | 


A (httpd php php - devel php - nysql nysql mysql - server) 
(2) 数组 下 标 一 般 从 0 开始 ,引用 数组 的 方法 详解 如 下 : 
echo $ (JFTEST[0]) : 引用 第 一 个 数组 变量 ,结果 打印 test], 
echo $ {JFTEST[1]): 引用 第 二 个 数组 变量 。 

echo $ (JFTEST[@]): 显示 该 数组 所 有 参数 。 

echo $ ( #JFTEST[@]): 显示 该 数组 参数 个 数 。 
echo $ ( &JFTEST[0]); 显示 test] 字符 长 度 。 

echo $ (JFTEST[@ ]:0); 打印 数组 所 有 的 值 。 

echo $ (JFTESTL@]:1): 打印 从 第 二 个 值 开始 的 所 有 值 。 

echo $ (JETEST[& ]:0:2) : 打印 第 一 个 值 与 第 二 个 值 。 

echo $ {JFTEST(@]:1:2): 打印 第 二 个 值 与 第 三 个 值 。 

(3) 数组 替换 操作 ,详解 如 下 : 

a JFTEST=( [0]=www1 [1]=www2 [2]— www3 ) : 数组 赋值 。 
a echo $ (JETEST[(Q ]/test/jfedu} : 将 数组 值 test 替换 为 jfedu。 
a NEWJFTEST= 'echo $ (JFTEST[G ]/test/jfedu) ' ; 将 结果 赋值 新 数组 。 
(4) 数组 删除 操作 ,详解 如 下 : 

a unset array[0]: 删除 数组 第 一 个 值 。 

2 unset array[1]: 删除 数组 第 二 个 值 。 

a unset array: 删除 整个 数组 。 

(5) 数组 shell 脚本 企业 案例 一 ,网 卡 bond 绑 定 脚本 ,代码 如 下 : 

# ! /bin/bash 

# Auto Make KVM Virtualization 


# Auto config bond scripts 
# By author jfedu. net 2017 


O O O O O D DCD Uu 
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eth bond() 
{ 
NETWORK = ( 
HWADDR = 'ifconfig eth0 |egrep "HWaddr|Bcast" |tr "Vn" " "|awk '{print $5, $7, $NF}'|sed - e ' 
s/addr://g' - e 's/Mask://g' |awk '(print $1)'' 
IPADDR = 'ifconfig eth0 |egrep "HWaddr|Bcast" |tr "An" " "|awk '(print $5, $7, $NF)'|sed - e " 
s/addr://g' — e 's/Mask://g' |awk '(print $2)'' 
NETMASK = 'ifconfig eth0 |egrep "HWaddr|Bcast" |tr "An" " "|awk '(print $5, $7, $NF}'|sed - e 
's/addr://g' -e 's/Mask://g' |awk ' (print $3)'' 
GATEWAY = 'route - n|grep "UG"|awk '(print $2]'' 
) 
cat > ifcfg - bond0 << EOF 
DEVICE = bond0 
BOOTPROTO = static 
S(NETWORK[1]]) 
S(NETWORK[2]) 
${ NETWORK[ 3] } 
ONBOOT = yes 
TYPE = Ethernet 
NM_CONTROLLED = no 
EOF 


(6) 数组 shell 脚本 企业 案例 二 ,定义 IPv4 值 ,代码 如 下 : 


#!/bin/bash 

#auto Change ip netmask gateway scripts 

# By author jfedu. net 2017 

ETHCONF = /etc/sysconf ig/network - scripts/ifcfg- eth0 
HOSTS = /etc/hosts 

NETWORK = /etc/sysconf ig/network 

DIR- /data/backup/'date + *Y%m%d' 

NETMASK = 255.255. 255.0 


count_ip(){ 
count = ('echo $IPADDR|awk - F. '(print $1, $2, $3, $4]'') 
IP1 = ${count[0]} 
IP2 = ${count[1]} 
IP3 = ${count[2]} 
IP4 = ${count[3]} 


— ^. | shell 编程 高 级 企业 实战 








企业 生产 环境 中 ,服务 器 规模 成 百 上 千 , 如 果 依靠 人 工 去 维护 和 管理 是 非常 吃力 的 , 基 
于 shell 编程 脚本 管理 和 维护 服务 器 变 得 简单 从容 ,而 且 对 企业 自动 化 运 维 之 路 的 建设 起 
到 极 大 的 推动 作用 。 

本 章 向 读者 介绍 企业 生产 环境 shell 编程 案例 、 自 动 化 备份 MySQL 数据 .服务 器 信息 
收集 .防止 恶意 IP 访问 .LAMP 十 MySQL 主 从 实战 千 台 服务 器 IP 修改 ,Nginx 十 Tomcat 
高 级 自动 化 部 署 脚 本 、Nginx 虚拟 主机 配置 .Docker 管理 平台 等 内 容 。 


18.1 shell 编程 实战 系统 备份 脚本 


日 常 企业 运 维 中 ,需要 备份 Linux 操作 系统 中 重要 的 文件 和 目录 ,例如 /etc、/boot 分 
区 重要 网 站 数据 等 ,在 备份 数据 时 ,由 于 数据 量 非常 大 ,需要 指定 高 效 的 备份 方案 ,以 下 为 
常用 的 备份 数据 方案 : 

a 每 周 日 进行 完整 备份 ,周一 至 周 六 使 用 增 量 备 份 ; 

a 每 周 六 进行 完整 备份 . 周 日 至 周 五 使 用 增 量 备 份 。 

企业 备份 数据 的 工具 主要 有 tar、cp、rsync、scp、sersync、dd 等 工具 。 以 下 为 基于 开源 
tar 工具 实现 系统 数据 备份 方案 。 

tar 工具 手动 全 备份 网 站 ,-g 参数 指定 新 的 快照 文件 ,代码 如 下 : 





tar -g /tmp/snapshot -czvf  /tmp/2017 full system data. tar.gz /data/sh/ 


tar 工具 手动 增 量 备份 网 站 ,-g 参数 指定 全 备 已 生成 的 快照 文件 ,后 续 增 量 备份 基于 上 
一 个 增 量 备份 快照 文件 ,代码 如 下 : 


tar -g  /tmp/snapshot -czvf /tmp/2014_add01_system_data.tar.gz /data/sh/ 


tar 工具 全 备 \ 增 量 备份 网 站 ,shell 脚本 实现 自动 打包 备份 ,编程 思路 如 下 : 
a 系统 备份 数据 按 每 天 存放 ; 

a 创建 完整 备份 函数 块 ; 

a 创建 增 量 备份 函数 块 ; 








a 根据 星期 数 判断 完整 或 增 量 ; 
a 将 脚本 加 入 crontab 实现 自动 备份 。 
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tar 工具 全 备 , 增 量 备 份 网 站 ,shell 脚本 实现 自动 打包 备份 ,代码 如 下 : 


#!/bin/bash 
# Auto Backup Linux System Files 
# By author jfedu. net 2017 
# Define Path variables 
SOURCE_DIR = ( 
$ x 
) 
TARGET DIR = /data/backup/ 
YEAR- 'date + $& Y" 
MONTH- 'date + %m' 
DAY = 'date + %d' 
WEEK = 'date + %u' 
A_NAME = 'date + % H% M' 
FILES = system_backup. tgz 
CODE = $? 
if 
[ -z"$*" ]; then 
echo — e "\033[32mUsag: 





nPlease Enter Your Backup Files or DirectoriesVn -----------— 


PaSSsag oe ease eae eee \n\nUsage: { $0 /boot /etc}\033[0m" 


# Determine Whether the Target Directory Exists 


if 


[! -d $TARGET DIR/SYEAR/SMONTH/SDAY ]; then 


mkdir -p $TARGET DIR/SYEAR/SMONTH/SDAY 


echo — e "\033[32mThe $TARGET DIR Created Successfully !\033[0m" 


fi 

# EXEC Full Backup Function Command 
Full Backup() 

{ 


cd $TARGET_DIR/SYEAR/SMONTH/SDAY ; tar -g $TARGET_DIR/snapshot - czvf $FILES ${SOURCE_ 


——— \n\033[32mThese Full Backup System Files Backup Successfully !\033[0m" 


if 
[ "SWEEK" -eq "7" ]; then 
rm — rf $TARGET DIR/snapshot 
DIR[ @ ]} 
[ " $CODE" == "0" ]&&echo - e" ----------- 
fi 
) 


# Perform incremental BACKUP Function Command 


Add Backup() 
{ 
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if 
[ $WEEK -ne "7" ]; then 
cd $TARGET DIR/SYEAR/SMONTH/SDAY ; tar - g $TARGET DIR/snapshot - czvf $A NAME 
SFILES $(SOURCE DIR[(2]) 
[ " $CODE" == "0" ]&&echo - e" 
---XnV033[32nThese Add Backup System Files $TARGET DIR/SYEAR/SMONTH/SDAY/S(YEAR) $A NAME 


SFILES Backup Successfully ! N033[ 0m" 
fi 

} 

sleep 3 

Full Backup; Add Backup 


crontab 任务 计划 中 添加 如 下 语句 ,每 天 凌晨 1 点 整 执行 备份 脚本 即 可 : 


0 1 * * x /bin/sh /data/sh/auto backup. sh /boot /etc/ >> /tmp/back. log 2» &1 


18.2 shell 编程 实战 收集 服务 器 信息 


在 企业 生产 环境 中 ,经 常会 对 服务 器 资产 进行 统计 存档 , 单 台 服务 器 可 以 手动 去 统计 服 
务 器 的 CPU 型 号 、 内 存 大 小 、 硬 盘 容量 、 网 卡 流量 等 ,但 如 果 服 务 器 数量 超过 百 台 \ 千 台 , 使 
用 手工 方式 就 变 得 非常 吃力 。 

基于 shell 脚本 实现 自动 化 服务 器 硬件 信息 的 收集 ,并 将 收集 的 内 容 存放 在 数据 库 , 能 
更 快 ,更 高 效 地 实现 对 服务 器 资产 信息 的 管理 。shell 脚本 实现 服务 器 信息 自动 收集 ,编程 
思路 如 下 : 

a 创建 数据 库 和 表 存 储 服务 器 信息 ; 

a 基于 shell 四 剑客 awk ,find sed. grep 获取 服务 器 信息 s 

a 将 获取 的 信息 写成 SQL 语句 ; 

a 定期 对 SQL 数据 进行 备份 ; 

a 将 脚本 加 入 crontab 实现 自动 备份 。 

创建 数据 库 表 ,创建 SQL 语句 ,代码 如 下 : 


CREATE TABLE 'audit system' ( 
'id' int(11) NOT NULL AUTO INCREMENT, 
'ip info' varchar(50) NOT NULL, 
'serv info' varchar(50) NOT NULL, 
'cpu info' varchar(50) NOT NULL, 
'disk info' varchar(50) NOT NULL, 
'mem info' varchar(50) NOT NULL, 
'load info' varchar(50) NOT NULL, 
'mark info' varchar(50) NOT NULL, 
PRIMARY KEY ('id'), 
UNIQUE KEY 'ip info' ('ip info'), 
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UNIQUE KEY 'ip info 2' ('ip info') 
); 


shell 脚本 实现 服务 器 信息 自动 收集 ,代码 如 下 : 


# ! /bin/bash 

# Auto get system info 

# By author jfedu. net 2017 

# Define Path variables 

echo - e "\033[34m \033[1m" 

cat << EOF 

十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 

++++++++Welcome to use system Collect++++++++ + 

十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 二 

EOF 

ip info- 'ifconfig |grep "Bcast"|tail — 1 |awk '(print $2)'|cut -d: - £2" 

cpu infol- 'cat /proc/cpuinfo |grep 'model name'|tail -1 |awk - F: '{print $2}'|sed 's/^ //g' 
|awk '(print $1, $3, $4, $NF)'" 

cpu info2- 'cat /proc/cpuinfo |grep "physical id"|sort |uniq - c|wc -1' 

serv info- 'hostname [tail - 1' 

disk info- 'fdisk — l|grep "Disk" |grep - v "identifier"|awk '{print $2, $3, $4) ' | sed 's/,//g'' 
mem info- 'free -m |grep "Men" |awk '(print "Total", $1, $2"M")'' 

load info- 'uptime |awk '{print "Current Load: " $(NF - 2)) ' [sed 's/A,//g'' 

mark info- 'BeiJing IDC' 

echo - e "X033[32n - 
echo IPADDR: $(ip info) 

echo HOSTNAME: $serv info 

echo CPU INFO: $(cpu infol) X$(cpu info2} 

echo DISK INFO: $disk info 

echo MEM INFO: $mem info 

echo LOAD INFO: $1oad info 

echo -e "\033[ 32m 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 \033[ Om" 
echo -e - n "\033[36mYou want to write the data to the databases? \033[1m" ; read ensure 


if[ "$ensure" == "yes" -o " $ensure" == "y" -o"$ensure" == "Y" ]; then 








= N033[ 1m" 


echo -e 'V033[31mmysql - uaudit - p123456 - D audit - e ''' "insert into audit system 
values('',' $(ip info]',' $serv_info', ' ${cpu_infol} X$(cpu info2]','$disk info','$mem info 
',' $1oad info',' $mark info')" '''V033[0m ' 

mysql - uroot - pl23456 -D test - e "insert into audit system values('',' $(ip info]', 
' $serv_info',' ${cpu_infol} X$(cpu info2]',' $disk info',' $mem_info', ' $load_info',' $mark 
info')" 
else 

echo "Please wait, exit......" 

exit 
fi 


手动 读 取 数据 库 服 务 器 信息 命令 ,代码 如 下 : 
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mysql 一 uroot - pl23 —e 'use wugkl ; select * from audit audit system; '|sed 's/ - //g'|grep - v "id" 


18.3 shell 编程 实战 拒绝 恶意 IP 登录 


企业 服务 器 暴露 在 外 网 ,每 天 会 有 大 量 的 人 使 用 各 种 用 户 名 和 密码 尝试 登录 服务 器 ,如 
果 让 其 一 直 尝 试 ,难免 会 猜 出 密码 ,通过 开发 shell 脚本 ,可 以 自动 将 尝试 登录 服务 器 错误 密 
码 超过 设 定 次 数 的 IP 列表 加 入 到 防火 墙 配 置 中 。 

shell 脚本 实现 服务 器 拒绝 恶意 IP 登录 ,编程 思路 如 下 : 

a 登录 服务 器 日 志 /var/log/secure; 

a 检查 日 志 中 认证 失败 的 行 并 打印 其 IP 地 址 ; 

o 将 IP 地 址 写 人 至 防火 墙 ; 

a 禁止 该 IP 访问 服务 器 SSH 22 端口 ; 

a 将 脚本 加 入 crontab 实现 自动 禁止 恶意 IP. 

shell 脚本 实现 服务 器 拒绝 恶意 IP 登录 ,代码 如 下 : 


# !/bin/bash 
# Auto drop ssh failed IP address 
# By author jfedu. net 2017 
# Define Path variables 
SEC FILE = /var/log/secure 
IP ADDR- 'awk '(print $0}' /var/log/secure|grep - i "fail"| egrep -o "([0 - 9](1,3)V.) (3) 
[0-9](1,3)" | sort -nr | uniq -c |awk ' $1» 7 15 (print $2)'' 
IPTABLE CONF = /etc/sysconfig/iptables 
echo 
cat << EOF 
++++++++++++++welcome to use ssh login drop failed ip+t+++++++++++++++ + 
十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 
++++++++++++++++ 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 十 二 
EOF 
echo 
for ((j= 0; j<=6; j**)) ; do echo - n" - "; sleep 1 ; done 
echo 
for i in 'echo $IP ADDR' 
do 

cat $IPTABLE CONF |grep $i »/dev/null 
if 

[ $? - ne 0 ]; then 

sed -i"/lo/a — A INPUT -s $i -m state -- state NEW - m tcp - p tcp -- dport 22 - j 
DROP" $IPTABLE CONF 
fi 
done 
NUM = 'find /etc/sysconfig/ - name iptables -a - mmin -l|wc - l' 

if [ SNUM -eq 1 ]; then 
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/etc/init.d/iptables restart 
fi 


18.4 shell 编程 实战 LAMP 一 键 安 装 


LAMP 是 目前 互联 网 主流 Web 网 站 架构 ,通过 源码 安装 .维护 和 管理 对 于 单 台 很 轻 
松 , 但 如 果 服 务 器 数量 多 ,手工 管理 就 非常 困难 ,基于 shell 脚本 可 以 更 快速 地 维护 LAMP 
架构 。 

shell 脚本 实现 服务 器 LAMP 一 键 源码 安装 配置 ,编程 思路 如 下 : 

a 脚本 的 功能 ,实现 安装 LAMP 环境 ,论坛 网 站 ; 

Q Apache 安装 配置 .MySQL、PHP 安装 ; 

o 源码 LAMP 整合 配置 ; 

a 启动 数据 库 ,创建 数据 库 并 授权 ; 

Q 重启 LAMP 所 有 服务 ,验证 访问 。 

shell 脚本 实现 服务 器 LAMP 一 键 源码 安装 配置 ,代码 如 下 : 


3 ! /bin/bash 
# Auto install LAMP 
3 By author jfedu. net 2017 
+ Define Path variables 
#Httpd define path variable 
H FILES = httpd - 2.2.32. tar. bz2 
H FILES DIR- httpd - 2.2.32 
H URL = http://nirrors.cnnic. cn/apache/httpd/ 
H PREFIX = /usr/local/apache2/ 
# MySQL define path variable 
M FILES = mysql - 5.5. 20. tar. gz 
M FILES DIR- mysql - 5.5.20 
M URL = http://down1. chinaunix. net/distfiles/ 
M_PREFIX = /usr/local/mysql/ 
* PHP define path variable 
P FILES = php- 5. 3.28. tar. bz2 
P FILES DIR = php- 5.3.28 
P URL = http://mirrors. sohu. com/php/ 
P PREFIX- /usr/local/php5/ 
function httpd install()( 
if [[ "$1" -eq "1" ]]; then 

wget -c $H URL/SH FILES && tar - jxvf $H FILES && cd $H FILES DIR &&./configure 一 一 
prefix- $H PREFIX 

if [ $? -eq0 ]; then 

make && make install 

fi 

fi 
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) 
function mysql install()( 
if [[ "$1" -eq"2" ]]; then 
wget -c $M URL/$M FILES && tar - xzvf $M FILES && cd $M FILES DIR &&yum install cmake 
ncurses devel — y ; cmake . - DCMAKE INSTALL PREFIX- $M PREFIX V 
— DMYSQL UNIX ADDR- /tmp/mysql.sock V 
— DMYSQL DATADIR = /data/mysql V 
— DSYSCONFDIR - /etc V 
— DMYSQL USER- mysql V 
- DMYSQL TCP PORT = 3306 V 
— DWITH XTRADB STORAGE ENGINE = 1 V 
— DWITH INNOBASE STORAGE ENGINE = 1 V 
— DWITH PARTITION STORAGE ENGINE = 1 V 
- DWITH BLACKHOLE STORAGE ENGINE = 1 V 
— DWITH MYISAM STORAGE ENGINE = 1 V 
- DWITH READLINE- 1 V 
- DENABLED LOCAL INFILE = 1 V 
— DWITH EXTRA CHARSETS = 1 V 
— DDEFAULT CHARSET = utf8 V 
— DDEFAULT_COLLATION = utf8 general ci V 
— DEXTRA CHARSETS = all V 
- DWITH BIG TABLES = 1 V 
- DWITH DEBUG = 0 
if[ $? -eq0 ]; then 
make && make install 


echo: — e "\n\033[ 328 -—-——-——-———-———-—-———————-——-— = N033[0n" 
echo — e "X033[32nThe $M FILES DIR Server Install Success !\033[0m" 
else 
echo — e "\033[32mThe $M FILES DIR Make or Make install ERROR, Please Check......" 
exit 0 


fi 
/bin/cp support - files/my - small. cnf /etc/my.cnf 
/bin/cp support - files/mysql. server /etc/init.d/mysqld 
chmod + x /etc/init.d/mysqld 
chkconfig -- add mysqld 
chkconfig mysqld on 
fi 
) 
function php install()( 
if [[ "$1" -eq "3" ]]; then 
yum install libxml2 - devel perl- devel perl libtool» - y 
wget — c $P URL/SP FILES && tar — jxvf $P FILES && cd $P FILES DIR &&./configure —— 
prefix= $P PREFIX -- with- config- file- path = $P PREFIX/etc —— with- mysql = $M PREFIX —— 
with- apxs2 = $H PREFIX/bin/apxs 
if [ $? -eq0 ]; then 
make ZEND EXTRA LIBS- ' - liconv' && make install 
echo — e "NnN033[32g-—-———— --- e - eo -- 
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— N033[ Om" 
echo — e "X033[32nThe $P FILES DIR Server Install Success !\033[0m" 
else 
echo — e "X033[32nThe $P FILES DIR Make or Make install ERROR, Please Check...... 3 
exit 0 
fi 
fi 


) 
function lamp config()( 
if [[ "$1" ~ eq "4" ]]; then 
sed - i '/DirectoryIndex/s/index. htm1/index.php index.html/g' $H PREFIX/conf/httpd. conf 
$H PREFIX/bin/apachectl restart 
echo "AddType application/x- httpd - php . php" >> $H PREFIX/conf/httpd. conf 
IP = 'ifconfig eth0|grep "Bcast"|awk '(print $2}'|cut - d: - f2' 
echo "You can to access http: //SIP/" 


cat > $H PREFIX/htdocs/index. php << EOF 
<?php 

phpinfo(); 

?> 

EOF 

fi 

) 

PS3 = "Please enter you select install menu:" 
select i in http mysql php config quit 

do 


case $i in 
http) 
httpd install 1 
LE 
mysql) 
mysql install 2 
ii 
php) 
php_install 3 
config) 
lamp_config 4 
quit) 
exit 

esac 


done 
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18.5 shell 编程 实战 MySOL 主 从 复制 


MySQL 数据 库 服务 器 主要 应 用 于 与 动态 网 站 结合 ,存放 网 站 必要 的 数据 ,例如 订单 、 
交易 .员工 表 .薪资 等 记录 ,为 了 实现 数据 备份 , 需 引 入 MySQL 主 从 架构 , MySQL 主 从 架构 
脚本 可 以 实现 自动 化 安装 .配置 和 管理 。 

shell 脚本 实现 服务 器 MySQL 一 键 YUM 安装 配置 ,编程 思路 如 下 : 

(1) MySQL 主 库 的 操作 : 

a 主 库 上 安装 MySQL ,设置 server-id .bin-log; 

a 授权 复制 同步 的 用 户 , 对 客户 端 授权 ; 

a 确认 bin-log 文件 名 、position 位 置 点 。 

(2) MySQL 从 库 的 操作 : 

a 从 库 上 安装 MySQL ,设置 server-id; 

a change master 指定 主 库 和 bin-log 名 以 及 position; 

a start slave 启动 从 库 1/O 线程 ; 

a show slave status\G 查看 主 从 的 状态 。 

shell 脚本 实现 服务 器 MySQL 一 键 YUM 安装 配置 ,需要 提前 手动 授权 主 库 可 以 免 密 
码 登 录 从 库 服务 器 ,代码 如 下 : 


# !/bin/bash 
# Auto install Mysql AB Repliation 
# By author jfedu. net 2017 
# Define Path variables 
MYSQL SOFT = "mysql mysql - server mysql- devel php- mysql mysql - libs" 
NUM = 'rpm — qa |grep - i mysql |wc - 1" 
INIT = "/etc/init. d/mysqld" 
CODE- $? 
# Mysql To Install 2017 
if[ $NUM -ne0 -a -f SINIT ]; then 
echo - e "\033[32mThis Server Mysql already Install. V033[0n" 
read - p "Please ensure yum remove Mysql Server, YES or NO": INPUT 
if [ SINPUT == "y" —o SINPUT == "yes" ]; then 
yum remove $MYSQL SOFT - y ; rm - rf /var/lib/mysql /etc/my. cnf 
yum install $MYSQL SOFT - y 
else 
echo 
fi 
else 
yum remove $MYSQL SOFT - y ; m - rf /var/lib/mysql /etc/my.cnf 
yum install $MYSQL SOFT 一 了 
if [ $CODE -eq O ]; then 
echo - e "\033[32mThe Mysql Install Successfully. \033[ 0m" 
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else 
echo - e "\033[32mThe Mysql Install Failed. \033[0m" 
exit 1 

Ei 
fi 
my_config(){ 
cat >/etc/my. cnf << EOF 
[mysqld] 
datadir = /var/lib/mysql 
socket = /var/1ib/mysql/mysql. sock 
user - mysql 
symbolic - links = 0 
log - bin = mysql 一 bin 
server- id = 1 
auto increment offset-1 
auto increment increment - 2 
[mysqld safe] 
log- error = /var/log/mysqld. log 
pid- file = /var/run/mysqld/mysqld. pid 
EOF 
} 
my_config 
/etc/init. d/mysqld restart 
ps - ef |grep mysql 
MYSQL CONFIG()( 
s Master Config Mysql 
mysql -e "grant replication slave on * . * to 'tongbu'@'% ' identified by '123456'; " 
MASTER FILE = 'mysql - e "show master status; "|tail - l|awk '(print $1]'' 
MASTER POS- 'mysql - e "show master status; "|tail — l|awk '(print $2}'' 
MASTER IPADDR = ' ifconfig ethO|grep "Bcast"|awk '(print $2)'|cut — d: - £2" 
read - p "Please Input Slave IPaddr: " SLAVE IPADDR 
# Slave Config Mysql 
ssh - 1 root $SLAVE IPADDR "yum remove $MYSQL SOFT - y ; rm - rf /var/lib/mysql /etc/my.cnf ; 
yum install $MYSQL SOFT - y" 
ssh - 1 root $SLAVE_IPADDR "$my config" 
#scp - r /etc/my.cnf root(2192.168.111.129:/etc/ 
ssh - 1 root $SLAVE IPADDR "sed - i 's# server- id = 1# server- id = 2#g'/etc/my.cnf" 
ssh - 1 root $SLAVE IPADDR "sed - i '/log- bin = mysql - bin/d' /etc/my. cnf" 
ssh - 1 root $SLAVE IPADDR "/etc/init.d/mysqld restart" 
ssh - 1 root $SLAVE IPADDR "mysql - e \"change master to master host = ' $MASTER_IPADDR', master 
_user = 'tongbu', master_password = '123456',master log file- ' $MASTER_FILE',master_log_pos = 
SMASTER_POS; \"" 
ssh - 1 root $SLAVE_IPADDR "mysql - e V'slave start; \"" 
ssh - 1 root $SLAVE_IPADDR "mysql - e V'show slave status\G; \"" 
} 





read - p "Please ensure your Server is Master and you will config mysql Replication? yes or 
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no": INPUT 

if[ $INPUT == "y" -o $INPUT == "yes" ]; then 
MYSQL CONFIG 

else 
exit 0 

fi 


18.6 shell 编程 实战 修改 IP 及 主机 名 


企业 中 服务 器 IP 地 址 系统 通过 自动 化 工具 安装 完 系统 ,IP 均 是 自动 获取 的 ,而 服务 器 
要 求 固定 的 静态 IP, 百 台 服 务 器 手工 去 配置 静态 IP 是 不 可 取 的 ,可 以 基于 shell 脚本 自动 
修改 IP .主机 名 等 信息 。 

shell 脚本 实现 服务 器 IP、 主 机 名 自动 修改 及 配置 ,编程 思路 如 下 : 

a 静态 IP 修改 ; 

a 动态 IP 修改; 

a 根据 IP 生 成 主机 名 并 配置 ; 

a 修改 DNS 域名 解析 。 

shell 脚本 实现 服务 器 IP、 主 机 名 自动 修改 及 配置 ,代码 如 下 : 


# ! /bin/bash 

# Auto Change ip netmask gateway scripts 

# By author jfedu. net 2017 

# Define Path variables 

ETHCONF = /etc/sysconf ig/network - scripts/ifcfg- eth0 
HOSTS - /etc/hosts 

NETWORK = /etc/sysconf ig/network 

DIR = /data/backup/'date + *Y%m%d' 

NETMASK = 255.255.255.0 


judge ip()( 
read - p "Please enter ip Address, example 192.168.0.11 ip": IPADDR 
echo $IPADDR|grep - v "[Aa- Zz]" |grep -- color - E "([0-9](1,3)V. ) (3)[0 - 9](1,3)" 
) 
count ip()( 
count = ('echo $IPADDR| awk -F. '(print $1, $2, $3, $4}'') 
IP1= ${count[0]} 
IP2- ${count[1]} 
IP3 = ${count[2]} 
IP4= ${count[3]} 
} 
ip_check( ) 
{ 
judge ip 
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while [ $? -ne0 ] 
do 
judge ip 
done 
count ip 
while [ "$IP1" —1t 0 -o"$IP1" -ge 255 -o " $IP2" 一 ge 255 - o" $IP3" -ge255 - o" $IP4" 
-ge255] 
do 
judge ip 
while[ $? -ne0] 
do 
judge ip 
done 
count ip 
done 
) 
change ip() 
{ 
if [ ! -d $DIR ]; then 
mkdir -p $DIR 
fi 
echo "The Change ip address to Backup Interface eth0" 
cp SETHCONF $DIR 
grep "dhcp" $ETHCONF 
if [ $? -eq0 ]; then 
read - p "Please enter ip Address:" IPADDR 
sed - i 's/dhcp/static/g' $ETHCONF 
echo —e "IPADDR = $IPADDR\nNETMASK = $NETMASK\nGATEWAY = 'echo $IPADDR|awk - F. '(print 
$1"." $2". " $3) ''. 2" >> SETHCONF 
echo "The IP configuration success. !" 
else 
echo -n "Static IP has been configured, please confirm whether to modify, yes or No": 
read i 
fi 
if [ "$i" 
ip_check 
sed -i - e '/IPADDR/d' - e '/NETMASK/d' - e '/GATEWAY/d' $ETHCONF 
echo -e "IPADDR- $IPADDR\nNETMASK= $NETMASKNnGATEWAY = 'echo $IPADDR|awk - F. '(print 
$1"." $2"." $3)''.2" >> SETHCONF 
echo "The IP configuration success. !" 
echo 
else 





-o"$i" 





7 "yes" ]; then 


echo "Static IP already exists, please exit." 
exit $? 

fi 

} 

change_hosts() 
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{ 


if [ ! -d $DIR ]; then 
mkdir -p $DIR 
fi 
cp $HOSTS $DIR 
ip check 
host = ' echo $IPADDR|sed 's/A./ - /g' | awk '(print "BJ - IDC- " $0" - jfedu. net"] '' 
cat $HOSTS |grep " $host" 
if [ $? -ne 0 ]; then 
echo " $IPADDR $host" >> $HOSTS 
echo "The hosts modify success " 
fi 
grep " $host" $NETWORK 
if [ $? -ne 0 ]; then 
sed - i "s/^HOSTNAME/ # HOSTNAME/g" $NETWORK 
echo "NETWORK = $host" >> SNETWORK 
hostname $host; su 
fi 
) 
PS3 = "Please Select configuration ip or configuration host: " 
modify hosts 


select i in "modify ip exit" 
do 
case $iin 
modify ip) 
change ip 
HH 
modify hosts) 
change hosts 
ii 
exit) 
exit 
ii 
*) 
echo - e "1) modify ip\n2) modify_ip\n3)exit" 
esac 


done 


18.7 shell 编程 实战 Zabbix 安装 配置 


Zabbix 是 一 款 分 布 式 监控 系统 ,基于 C/S 模式 , 需 在 服务 器 安装 zabbix_server, 在 客户 
端 安装 zabbix_agent, 通 过 shell 脚本 可 以 更 快速 地 实现 该 需求 。 
shell 脚本 实现 Zabbix 服务 器 端 和 客户 端 自动 安装 ,编程 思路 如 下 : 
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Zabbix 软件 的 版 本 源码 安装 .路 径 、--enable-server、--enable-agent; 
cp zabbix agentd 启动 进程 -/etc/init. d/zabbix_agentd ,执行 x 权限 ; 
配置 zabbix_agentd. conf 文件 ,指定 server IP 变量 ; 

指定 客户 端的 Hostname, 可 以 写成 客户 端 IP 地 址 ; 

启动 zabbix_agentd 服务 ,创建 Zabbix user。 

shell 脚本 实现 Zabbix 服务 器 端 和 客户 端 自动 安装 ,代码 如 下 : 


#!/bin/bash 

# Auto install zabbix server and client 

# By author jfedu. net 2017 

+ Define Path variables 

ZABBIX_SOFT = "zabbix— 3.2.6. tar.gz" 

INSTALL_DIR = "/usr/local/zabbix/" 

SERVER IP = "192.168.111.128" 

IP = 'ifconfig|grep Bcast|awk '{print $2}'|sed 's/addr://g'' 
SERVER_INSTALL( ) { 

yum - y install curl curl - devel net — snmp net — snmp - devel perl- DBI 


D ooo D 








groupadd zabbix ; useradd - g zabbix zabbix; usermod - s /sbin/nologin zabbix 
tar - xzf $ZABBIX_SOFT; cd 'echo $ZABBIX SOFT|sed 's/.tar. * //g'' 
./configure -- prefix = /usr/local/zabbix -- enable- server -- enable- agent —— with- mysql —— 
enable- ipv6 -- with- net- snmp -- with- libcurl &&make install 
if[ $? -eq0 ]; then 
ln - s /usr/local/zabbix/sbin/zabbix * /usr/local/sbin/ 
fi 
cd - ; cd zabbix - 3.2.6 
cp nisc/init.d/tru64/(zabbix agentd,zabbix server] /etc/init.d/ ; chmod o + x /etc/init. d/ 
zabbix * 
mkdir - p /var/www/html/zabbix/; cp -a frontends/php/ * /var/www/htnl/zabbix/ 
# config zabbix server 
cat > $INSTALL DIR/etc/zabbix server.conf << EOF 
LogFile = /tmp/zabbix server. log 
DBHost = localhost 
DBName - zabbix 
DBUser = zabbix 
DBPassword - 123456 
EOF 
# config zabbix agentd 
cat > $INSTALL DIR/etc/zabbix agentd. conf << EOF 
LogFile = /tmp/zabbix agentd. log 
Server = S$SERVER IP 
ServerActive = $SERVER IP 
Hostname - $IP 
EOF 
# start zabbix agentd 
/etc/init.d/zabbix server restart 
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/etc/init. d/zabbix agentd restart 

/etc/init.d/iptables stop 

setenforce 0 

} 

AGENT INSTALL()( 

yum - y install curl curl- devel net — snmp net — snmp - devel perl- DBI 
groupadd zabbix ; useradd - g zabbix zabbix; usermod - s /sbin/nologin zabbix 


tar - xzf SZABBIX SOFT; cd 'echo $ZABBIX_SOFT|sed 's/. tar. x //g'' 
./configure -- prefix = /usr/local/zabbix -- enable - agent&&make install 
if [ $? -eq0 ]; then 
ln - s /usr/local/zabbix/sbin/zabbix * /usr/local/sbin/ 
fi 
cd - ; cd zabbix - 3.2.6 
cp misc/init.d/tru64/zabbix agentd /etc/init. d/zabbix agentd ; chmod o + x /etc/init. d/zabbix | 
agentd 
# config zabbix agentd 
cat > $INSTALL DIR/etc/zabbix agentd. conf << EOF 
LogF ile = /tmp/zabbix agentd. log 
Server = S$SERVER IP 
ServerActive = $SERVER IP 
Hostname - $IP 
EOF 
# start zabbix agentd 
/etc/init. d/zabbix agentd restart 
/etc/init. d/iptables stop 
setenforce 0 


} 


read - p "Please confirm whether to install Zabbix Server, yes or no? " INPUT 
if [ $INPUT == "yes" -o SINPUT == "y" ]; then 
SERVER INSTALL 
else 
AGENT INSTALL 
fi 


18.8 shell 编程 实战 Nginx 虚拟 主机 


Nginx Web 服务 器 的 最 大 特点 在 于 Nginx 常 被 用 于 负载 均衡 、 反 向 代理 , 单 台 Nginx 
服务 器 配置 多 个 虚拟 主机 , 百 台 服 务 器 配置 N 个 虚拟 主机 ,基于 shell 脚本 可 以 更 加 高 效 地 
配置 虚拟 主机 及 添加 ,管理 。 

shell 脚本 实现 Nginx 自动 安装 及 虚拟 主机 的 维护 ,编程 思路 如 下 : 

a 脚本 指定 参数 v1.jfedu. net; 

a 创建 v1. jfedu. net 同时 创建 目录 /var/www/v]l; 
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o 将 Nginx 虚拟 主机 配置 定向 到 新 的 目录 ; 
9 重复 虚拟 主机 不 再 添加 。 
shell 脚本 实现 Nginx 自动 安装 及 虚拟 主机 的 配置 ,代码 如 下 : 


# ! /bin/bash 
# Auto config Nginx virtual Hosts 
# By author jfedu. net 2017 
# Define Path variables 
NGINX CONF = "/usr/local/nginx/conf/" 
NGINX MAKE-" —— user = www —- group = www —- prefix = /usr/local/nginx -- with - http stub 
status module —- with- http ssl module" 
NGINX SBIN = "/usr/local/nginx/sbin/nginx" 
NGINX INSTALL()( 
# Install Nginx server 
NGINX FILE = nginx- 1. 12. 0. tar. gz 
NGINX_DIR = 'echo $NGINX FILE|sed 's/.tar* . x //g'' 
if [ ! -e/usr/local/nginx/ -a ! - e /etc/nginx/ ]; then 
pkill nginx 
wget —c http: //nginx. org/download/S$NGINX FILE 
yum install pcre - devel pcre -y 
rm — rf $NGINX DIR ; tar xf $NGINX FILE 
cd $NGINX DIR; useradd www; ./configure $NGINX MAKE 
make &&make install 
grep -vE "# |^ $" $NGINX CONF/nginx. conf > $NGINX CONF/nginx. conf. swp 
\mv $NGINX CONF/nginx.conf.swp $NGINX CONF/nginx.conf 
for i in 'seq 1 6'; do sed - i '$d' $NGINX CONF/nginx. conf; done 
echo "}" >> $NGINX CONF/nginx. conf 
ed ../ 
fi 
) 
NGINX CONFIG()( 
config tomcat nginx vhosts 
grep "include domains" $NGINX CONF/nginx. conf »»/dev/null 
if[ $? -neO ]; then 
X sed - i '$d' $NGINX CONF/nginx. conf 
echo - e "\ninclude domains/ * ; Vn)" >> $NGINX CONF/nginx. conf 
mkdir -p $NGINX CONF/domains/ 
Ii 
VHOSTS = $1 
ls $NGINX_CONF/domains/$VHOSTS >>/dev/null 2» &1 
if [ $? -neO ]; then 
#cp - r xxx. jfedu. net $NGINX CONF/domains/$VHOSTS 
# sed — i "s/xxx/SVHOSTS/g" $NGINX CONF/domains/$VHOSTS 
cat > $NGINX CONF/domains/$ VHOSTS << EOF 
#vhost server $VHOSTS 
server { 
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listen 80; 

server name $VHOSTS; 

location / { 
root /data/www/SVHOSTS/; 
index index. html index. htm; 


) 


mkdir — p /data/www/SVHOSTS/ 

cat »/data/www/S VHOSTS/ index. html << EOF 

<html> 

<hl ><center> The First Test Nginx page. «/center »«/hl > 
<hr color = "red"> 

<h2 ><center > $VHOSTS </center ></h2 > 

</html> 


echo —e "\033[32mThe $VHOSTS Config success, You can to access http: / /$VHOSTS/A033[ Om" 
NUM = 'ps - ef |grep nginx|grep -v grep|grep - v auto|wc - 1' 
$NGINX SBIN - t >>/dev/null 2 > &1 
if[ $? -eq0 -a SNUM -eq 0 ]; then 
$NGINX SBIN 
else 
$NGINX_SBIN - t >>/dev/null 2» &1 
if[ $? - eq0 ]; then 
$NGINX_SBIN - s reload 
fi 
fi 
else 
echo - e "X033[32nThe $VHOSTS has been config, Please exit. V033[0m" 
fi 
) 
if[ -z $1]; then 


echo. -0 "N033[322 -———-——-—----—-—----- \033[ 0m" 
echo - e "\033[32mPlease enter sh $0 xx. jf. com. VO33[ On" 
exit 0 


fi 
NGINX_INSTALL 
NGINX_CONFIG $1 


18.9 shell 编程 实战 Nginx Tomcat 脚本 


Tomcat 用 于 发 布 JSP Web 页 面 .根据 企业 实际 需求 ,会 在 单 台 服务 器 配置 N 个 
Tomcat 实例 ,同时 手动 将 Tomcat 创建 后 的 实例 加 入 至 Nginx 虚拟 主机 中 ,同时 重启 
Nginx, 开 发 Nginx, Tomcat 自动 创建 Tomcat 实例 及 Nginx 虚拟 主机 管理 脚本 ,这 能 大 大 
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地 减轻 人 工 干预 ,实现 快速 地 交付 。 

shell 脚本 实现 Nginx 自动 安装 .虚拟 主机 及 自动 将 Tomcat 加 入 至 虚拟 主机 ,编程 思 
路 如 下 : 

a 手动 复制 Tomcat 与 脚本 一 致 目录 (可 自动 修改 ); 

a 手动 修改 Tomcat 端口 为 6001、7001、8001( 可 自动 修改 ); 

a 脚本 指定 参数 vl. jfedu. net; 

a 创建 vl. jfedu. net Tomcat 实例 ; 

a 修改 Tomcat 实例 端口 ,保证 port 唯一 ; 

a 将 Tomcat 实例 加 入 Nginx 虚拟 主机 ; 

a 重复 创建 Tomcat 实例 ,端口 自动 增加 ,并 加 入 原 Nginx 虚拟 主机 ,实现 负载 均衡 。 

shell 脚本 实现 Nginx 自动 安装 .虚拟 主机 及 自动 将 Tomcat 加 入 至 虚拟 主机 ,代码 
如 下 : 


#!/bin/bash 
# Auto config Nginx and tomcat cluster 
# By author jfedu. net 2017 
+ Define Path variables 
NGINX CONF = "/usr/local/nginx/conf/" 
install nginx()( 
NGINX FILE = nginx- 1.10.2. tar. gz 
NGINX DIR- 'echo $NGINX FILE|sed 's/.tar* . « //g'' 
wget -c http: //nginx. org/download/S$NGINX FILE 
yum install pcre- devel pcre - y 
rm — rf $NGINX DIR; tar xf $NGINX FILE 
cd $NGINX DIR; useradd www; ./configure -- user = www -- group = www -- prefix = /usr/ 
local/nginx2 -- with- http stub status module -- with- http ssl module 
make &&make install 
ods sf 
} 
install tomcat()( 
JDK_FILE "jdkl.7.0 25.tar.gz" 
JDK DIR- 'echo $JDK_FILE|sed 's/. tar. * //g'' 
tar -xzf $JDK FILE ; mkdir - p /usr/java/ ; mv $JDK DIR /usr/java/ 
sed - i '/JAVA HOME/d; /JAVA BIN/d; /JAVA OPTS/d' /etc/profile 
cat >> /etc/profile «« EOF 
export JAVA HOME = /export/servers/SJAVA DIR 
export JAVA BIN /export/servers/SJAVA DIR/bin 
export PATH = N $JAVA HOME/bin:V $PATH 
export CLASSPATH = . :\ $JAVA. HOME/lib/dt. jar:\ $JAVA HOME/1ib/tools. jar 
export JAVA HOME JAVA BIN PATH CLASSPATH 
EOF 
source /etc/profile; java - version 
# install tomcat start 
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) 


ls tomcat 


config tomcat nginx()( 


# config tomcat nginx vhosts 
grep "include domains" $NGINX_CONF/nginx. conf >>/dev/null 
if [ $? -neO ]; then 
sed - i ' $d' SNGINX_CONF/nginx. conf 
echo - e "\ninclude domains/ * ; \n}" >> $NGINX CONF/nginx. conf 
mkdir — p $NGINX CONF/domains/ 
fi 
VHOSTS - $1 
NUM = '1s /usr/local/|grep -c tomcat' 
if [ $NUM - eq 0 ]; then 
cp -r tomcat /usr/local/toncat $VHOSTS 
cp -r xxx. jfedu. net $NGINX CONF/domains/$VHOSTS 
# sed - i "s/VHOSTS/SVHOSTS/g" $NGINX_CONF/domains/$VHOSTS 
sed - i "s/xxx/SVHOSTS/g" $NGINX_CONF/domains/$VHOSTS 


exit 0 
fi 
————Ó——— 
#VHOSTS= $1 


VHOSTS_NUM = '1s $NGINX CONF/domains/|grep - c $VHOSTS' 
SERVER NUM = 'grep -c "127" $NGINX CONF/domains/$VHOSTS' 
SERVER NUM 1- 'expr $SERVER NUM + 1' 
rm — rf /tmp/. port. txt 
for i in 'find /usr/local/ - maxdepth 1 - name "tomcat * "'; do 
grep "port" $i/conf/server.xml |egrep - v "N -- |8080|SSLEnabled"|awk '(print $2]'| 


sed 's/port = //g; s/\"//g'|sort - nr »»/tmp/. port. txt 


done 
MAX PORT- 'cat /tmp/.port.txt|grep - v 8443|sort - nr|head - 1' 
PORT _1 = 'expr $MAX PORT - 2000 + 1' 
PORT 2 = 'expr $MAX PORT - 1000 + 1' 
PORT 3 = 'expr $MAX PORT + 1' 
if [ $VHOSTS NUM - eq 1 ]; then 
read - p "The $VHOSTS is exists, You sure create mulit Tomcat for the $VHOSTS? yes or no 





" INPUT 
if [ $INPUT == "YES" -o SINPUT == "Y" -o $INPUT == "yes" ]; then 

cp -r tomcat /usr/local/tomcat $(VHOSTS) S$(SERVER NUM 1) 

sed — i "s/6001/$PORT_1/g" /usr/local/tomcat $(VHOSTS) $(SERVER NUM 1]/conf/ 
server.xml 

sed —i"s/7001/SPORT 2/g" /usr/local/tomcat $(VHOSTS) $(SERVER NUM 1]/conf/ 
server.xml 

sed -i"s/8001/SPORT 3/g" /usr/local/tomcat $(VHOSTS) $(SERVER NUM 1]/conf/ 
server.xml 


sed —i"/*upstream/aserver 127.0.0.1: ${PORT_2} weight = 1 max fails = 2 fail. 


timeout = 30s; " $NGINX CONF/domains/SVHOSTS 


exit 0 
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fi 


exit 


cp -r tomcat /usr/local/tomcat $VHOSTS 
cp -r xxx. jfedu. net $NGINX_CONF/domains/$VHOSTS 
sed — i "s/VHOSTS/$VHOSTS/g" $NGINX_CONF/domains/$VHOSTS 
sed —-i"s/xxx/$VHOSTS/g" $NGINX_CONF/domains/$VHOSTS 
sed -i"s/7001/$(PORT 2]/g" $NGINX CONF/domains/$VHOSTS 
####### config tomcat 
sed -i"s/6001/SPORT 1/g" /usr/local/tomcat $(VHOSTS)/conf/server.xml 
sed -i"s/7001/SPORT 2/g" /usr/local/toncat $(VHOSTS)/conf/server.xml 
sed -i"s/8001/SPORT 3/g" /usr/local/tomcat_${VHOSTS}/conf/server. xml 


) 

if [ ! -d $NGINX CONF - o! -d /usr/java/SJDK DIR ]; then 
install nginx 
install tomcat 

fi 

config tomcat nginx $1 


18.10 shell 编程 实战 Docker 管理 脚本 


Docker 虚拟 化 是 目前 主流 的 虚拟 化 解决 方案 , 越 来 越 多 的 企业 在 使 用 Docker 轻 量 级 
虚拟 化 。 构 建 .维护 和 管理 Docker 虚拟 化 平台 是 运 维 人 员工 作 中 非常 重要 的 一 个 环节 , 开 
发 Docker shell 脚本 可 以 在 命令 行 界面 快速 管理 和 维护 Docker。 

shell 脚本 实现 Docker 自动 安装 .自动 导入 镜像 .创建 虚拟 机 、 指 定 TP 地 址 ,将 创建 的 
Docker 虚拟 机 加 入 Excel 存档 或 者 加 入 MySQL 数据 库 ,编程 思 路 如 下 

a 基于 CentOS 6.5 十 或 者 7. X YUM 9 Docker; 

Docker 脚本 参数 指定 CPU .内存 、 硬 盘 容 量 ; 

Docker 自动 检测 局 域 网 IP 并 赋予 Docker 虚拟 机 ; 

Docker 基于 pipework 指定 IP: 

将 创建 的 Docker 虚拟 机 信息 加 入 至 CSV(Excel) 或 者 MySQL 库 。 

shell 脚本 实现 Docker 自动 安装 .自动 导入 镜像 .创建 虚拟 机 、 指 定 TP 地 址 、 将 创建 的 
Docker 虚拟 机 信息 加 入 CSV(CExcel) 存 档 或 者 加 入 MySQL 数据 库 ,代码 如 下 : 


DO oO D 


# ! /bin/bash 

# Auto install docker and Create VM 

# By author jfedu. net 2017 

# Define Path variables 

IPADDR = 'ifconfig|grep — E "\< inet\>"|awk "(print $2}'|grep "192.168" | head - 1' 

GATEWAY = 'route -n|grep "UG"|awk '(print $2}'|grep "192.168" |head -1' 

IPADDR NET- 'ifconfig|grep -E "N< inet\>"|awk '{print $2]'|grep "192.168"|head - 1|awk - F. 
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"(print $1"." $2"." $3". ")'' 
LIST = "/root/docker vnlist.csv" 
if [ ! — f /usr/sbin/ifconfig ]; then 
yum install net- tools * -y 
fi 
for i in 'seq 1 253'; do ping - c 1 $(IPADDR NET) ${i} ; [ $? - ne 0 ]&& DOCKER_IPADDR = 
" $(IPADDR NET) ${i}" &&break; done >>/dev/null 2>&1 
echo ” 井 间 并 井 并 并 并 并 并 并 并 并 并 并 并 并 并 并 ” 
echo - e "Dynamic get docker IP, The Docker IP address\n\n $DOCKER. IPADDR" 
NETWORK = ( 
HWADDR = 'ifconfig eth0 |grep ether|awk '{print $2}'' 
IPADDR = 'ifconfig eth0|grep - E "\< inetV»" |awk ' (print $2)'" 
NETMASK = 'ifconfig eth0 |grep - E "\< inetV»" |awk ' (print $4]'" 
GATEWAY = 'route - n|grep "UG"|awk '(print $2)'' 
) 
if[ -z"$1" -o -z" $2" ]; then 


echo = "X033[32n ———------------------------------ N033[0n" 
echo —e "\033[32mPlease exec $0 CPU(C) MEM(G), example $0 4 8\033[0m" 
exit 0 


fi 
#CPU='expr $2 - 1' 
if [ ! -e/usr/bin/bc ]; then 

yum install bc - y >>/dev/null 2» &1 
fi 
CPU ALL- 'cat /proc/cpuinfo |grep processor|wc - 1' 
if [ ! -f $LIST ]; then 

CPU_COUNT = $1 

CPU 1 = "0" 

CPU1 = 'expr $CPU 1 + 0' 

CPU2- 'expr $CPU1 + $CPU COUNT - 1' 

if [ $CPU2 -gt $CPU ALL ]; then 

echo - e "\033[32mThe System CPU count is $CPU ALL, not more than it.N033[0m" 





exit 
fi 
else 
CPU COUNT = $1 
CPU_1='cat $LIST|tail —1|awk —E"," '(print $4)'|awk — EF" - " '(print $2)'' 
CPUl- 'expr $CPU 1 + 1' 
CPU2 = 'expr $CPU1 + $CPU COUNT - 1' 
if [ $CPU2 -gt $CPU ALL ]; then 
echo - e "\033[32mThe System CPU count is $CPU ALL, not more than it.N033[0m" 
exit 
fi 
fi 
MEM F- 'echo $2 XV * 1024|bc' 
MEM- 'printf "$ .0f\n" $MEM F' 
DISK- 20 
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USER= $3 

REMARK = $4 

ping $DOCKER IPADDR - c 1 >>/dev/null 2» &1 
if [ $? -eq0 ]; then 


echo: —e'"\033[ 32) m \033[0m" 
echo - e "\033[32mThe IP address to be used, Please change other IP, exit. \033[0m" 
exit 0 


fi 
if [ ! -e/usr/bin/docker ]; then 
yum install docker * device- mapper* 一 了 
mkdir - p /export/docker/ 
cd /var/lib/ ; m - rf docker ; ln - s /export/docker/ 
mkdir — p /var/lib/docker/devicemapper/devicemapper 
dd if = /dev/zero of = /var/lib/docker/devicemapper/devicemapper/data bs = 1G count = 0 
seek - 2000 
service docker start 
if [ $? -ne0 ]; then 
echo "Docker install error , please check." 
exit 
fi 
fi 
cd /etc/sysconf ig/network - scripts/ 
mkdir - p /data/backup/'date + *Y%m%d- %H%M' 
yes|cp ifcfg- eth» /data/backup/'date + %Y%m%d- %H%M'/ 
if 
[ -e /etc/sysconfig/network - scripts/ifcfg- br0 ]; then 
echo 
else 
cat > ifcfg - eth0 << EOF 
DEVICE = eth0 
BOOTPROTO = none 
S(NETWORK[ 0]) 
NM CONTROLLED - no 
ONBOOT - yes 
TYPE = Ethernet 
BRIDGE = "br0" 
${NETWORK[ 1]) 
S(NETWORK[ 2]) 
S(NETWORK[ 3]) 
USERCTL = no 
EOF 
cat > ifcfg - br0 << EOF 
DEVICE - "br0" 
BOOTPROTO - none 
S(NETWORK[ 0]) 
IPV6INIT = no 
NM_CONTROLLED = no 
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ONBOOT = yes 
TYPE = "Bridge" 
${NETWORK[ 1]} 
S(NETWORK[ 2]} 
${ NETWORK[ 3]} 
USERCTL = no 
EOF 
/etc/ init. d/network restart 
fi 
echo 'Your can restart Ethernet Service: /etc/init.d/network restart !' 


ed = 
####### create docker container 
service docker status >>/dev/null 
if [ $? -neO ]; then 

service docker restart 
fi 
NAME = "Docker 'echo $DOCKER IPADDR|awk — F"." '(print $(NF-1)"_" $NF)''" 
IMAGES = 'docker images|grep - v "REPOSITORY" | grep - v "none" | grep "jfedu"|head - 1 | awk ' 
(print $1)'' 
if [ -z SIMAGES ]; then 

echo "Plesae Download Docker Centos Images, you can to be use docker search centos, and 
docker pull centos6.5 - ssh, exit 0" 

if [ ! -f jfedu centos68.tar ]; then 

echo "Please upload jfedu centos68.tar for docker server." 


exit 
fi 
cat jfedu centos68.tar|docker import - jfedu centos6.8 
fi 
IMAGES = 'docker images |grep - v " REPOSITORY" | grep - v "none" |grep "jfedu" | head - 1| awk 
"(print $1)'' 


CID- $(docker run - itd -- privileged —- cpuset- cpus- $(CPU1)- ${CPU2} -m ${MEM}m -- net = 
none -- name = $NAME $IMAGES /bin/bash) 
echo $CID 
docker ps -a |grep " $NAME" 
pipework brO $NAME $DOCKER_IPADDR/24@ $IPADDR 
docker exec $NAME /etc/init.d/sshd start 
if [ ! -e $LIST ]; then 
echo "编号 ,容器 ID, 容器 名 称 , CPU, 内 存 , 硬盘 ,容器 IP, 宿主 机 IP, 使 用 人 ,备注 " > $LIST 

fi 
Büdsdsssdsssasdssss 
NUM = 'cat $LIST |grep - v CPU|tail - 1|awk - F, '(print $1]'" 
if [[ $NUM -eq "" ]]; then 

NUM = "1" 
else 

NUM- 'expr $NUM + 1' 
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fi 
Budssssaüsusussssss 
echo - e"X033[32nCreate virtual client Successfully. Vn $NUM 'echo $CID|cut — b1- 12', $NAME, 
$CPU1 — $CPU2, ${MEM}M, ${DISK}G, SDOCKER IPADDR, SIPADDR, SUSER, $REMARK\033[ 0m" 
if[ -z $USER ]; then 
USER = "NULL" 
REMARK = "NULL" 
fi 
echo $NUM,'echo SCID|cut — b1- 12', $NAME, $CPU1 — $CPU2, ${MEM}M, ${DISK}G, SDOCKER IPADDR, 
$IPADDR, $USER, $REMARK >> $LIST 
rm —rf /root/docker vnlist * 
iconv -c -f utf- 8 - t gb2312 $LIST -o /root/docker vmlist 'date + %H%M'. csv 


18.11 shell 编程 实战 Bind 管理 脚本 


Bind 主要 用 于 企业 DNS 平台 的 构建 ,而 DNS 用 于 将 域名 解析 成 IP, 用 户 在 浏览 器 只 
需 输 入 域名 , 即 可 访问 服务 器 IP 地 址 的 虚拟 主机 网 站 。 

Bind 难点 在 于 创建 各 种 记录 ,例如 A 记录 ,mail 记录 、 反 向 记录 、 资 源 记 录 , 基 于 shell 
脚本 可 以 减轻 人 工 的 操作 ,节省 大 量 的 时 间 成 本 。 

shell 脚本 实现 Bind 自动 安装 、 初 始 化 Bind 环境 ,自动 添加 A 记录 、 反 向 记录 ,批量 添 
加 A 记录 ,编程 思路 如 下 : 
YUM 方式 自动 安装 Bind; 
自动 初始 化 Bind 配置 ; 
创建 安装 、 初 始 化 、 添 加 记录 函数 ; 
自动 添加 单个 A 记录 及 批量 添加 A 记录 和 反 向 记录 。 

shell 脚本 实现 Bind 自动 安装 、 初 始 化 Bind 环境 .自动 添加 A 记录 、 反 向 记录 ,批量 添 
加 A 记录 ,代码 如 下 : 

# !/bin/bash 

# Auto install config bind server 

# By author jfedu. net 2017 

# Define Path variables 

BND ETC = /var/naned/chroot/etc 

BND_VAR = /var/named/chroot/var/named 

BAK DIR- /data/backup/dns 'date + *Y%m%d- %H%M' 


## Backup named server 
if 


o 


ooo 


[! -d $BAK DIR ]; then 

echo "Please waiting Backup Named Config ............ 
mkdir — p SBAK DIR 

cp - a /var/naned/chroot/ etc, var} $BAK DIR 
cp -a /etc/named. « $BAK DIR 
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fi 

## Define Shell Install Function 

Install () 

{ 

if 

[ ! -e /etc/init.d/named ]; then 
yum install bind« -y 

else 
` ¿a s CIO E Ser c c SSS 
echo "The Named Server is exists ,Please exit ......... T 
Sleep 1 

fi 


) 
## Define Shell Init Function 
Init Config () 
{ 
sed - i - e 's/localhost; /any; /g' - e '/port/s/127.0.0. 1/any/g' /etc/named. conf 
COO AT ara 
sleep 2 
echo "The named. conf config Init success !" 
} 
## Define Shell Add Name Function 
Add naned () 
{ 
#4 DNS name 
read - p "Please Insert Into Your Add Name , Example 51cto. com :" NAME 
echo $NAME |grep -E "com|cn|net | org" 
while 
["$?" -ne0] 
do 
read - p "Please reInsert Into Your Add Name , Example 51cto. com :" NAME 
echo $NAME |grep 一 "con|cn|net | org" 
done 
## IP address 
read - p "Please Insert Into Your Name Server IP ADDress:" IP 
echo $IP |egrep - o "([0-9](1,3)V. ){3}[0 - 9]{1,3}" 
while 
["$?" -ne" 
do 
read - p "Please reInsert Into Your Name Server IP ADDress:" IP 
echo $IP |egrep -o "([0- 9](1,3)V.) (3)[0- 9](1,3]" 
done 
ARPA IP- 'echo $IP|awk - F. '(print $3"."$2"."$1}"' 
ARPA IP1- 'echo $IP|awk - F. '(print $4)'' 
cd $BND ETC 
grep " $NAME" named. rfc1912. zones 





if 


else 
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[ $? -eq0 ]; then 
echo "The $NAME IS exist named. rfc1912.zones conf , please exit ..." 
exit 


read - p "Please Insert Into SLAVE Name Server IP ADDress:" SLAVE 

echo $SLAVE |egrep -o "([0-9](1,3N.)(3)[0 -9](1,3)" 

while 

["$?" -ne "0" ] 

do 
read - p "Please Insert Into SLAVE Name Server IP ADDress:" SLAVE 
echo $SLAVE |egrep -o "([0- 9](1,3)N. ){3}[0- 9](1,3)" 

done 
grep "rev" named. rfc1912. zones 

if 

[ $? -ne0 ]; then 

cat >> named. rfc1912. zones << EOF 


#'date + &Y- %m- %d' Add $NAME CONFIG 
zone " $NAME" IN { 


}; 


type master; 
file " SNAME. zone"; 
allow- update { none; }; 


zone " S$ARPA IP. in- addr. arpa" IN ( 


i 


type master; 
file" $ARPA_IP. rev"; 
allow- update { none; }; 


else 
cat >> named. rfc1912. zones << EOF 


#'date + %Y- %m- %d' Add $NAME CONFIG 
zone " $NAME" IN { 


type master; 
file " $NAME. zone"; 
allow- update { none; }; 


[ $? —eq 0 ]&& echo "The $NAME config name. rfc1912. zones success !" 
sleep 3 ; echo "Please waiting config $NAME zone File ............." 
cd $BND_VAR 


read - p "Please insert Name DNS A HOST , EXanple www or mail :" HOST 


read - p "Please insert Name DNS A NS IP ADDR , EXample 192.168.111.130 :" IP HOST 


echo $IP HOST |egrep -o "([0-9](1,3)V.)(3)[0 - 9](1,3)" 
ARPA IP2- 'echo $IP HOST|awk -F. '(print $3"." $2"."$1]'' 
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ARPA IP3- 'echo $IP HOST|awk —F. '(print $4]'' 
while 
[ "$?" -ne "0" ] 
do 
read - p "Please Reinsert Name DNS A IPADDRESS ,EXample 192.168.111.130 :" IP HOST 
echo $IP HOST |egrep -o "([0-9]1(1,3)V.) (3)[0 - 9]{1,3}" 


cat > $NAME. zone << EOF 
\ $TTL 86400 


@ IN SOA localhost. root. localhost. ( 
43 ; serial (d. adams) 
1H ; refresh 
15M ; retry 
1W ; expiry 
1D) ; minimum 

IN NS SNAME. 
EOF 


REV = 'ls *.rev' 

ls * . rev >>/dev/null 
if 

[ $? - ne O0 ]; then 

cat >> $ARPA IP. rev << EOF 
\$TIL — 86400 


@* IN SOA localhost. root. localhost. ( 
1997022703 ; Serial 
28800 ; Refresh 
14400 ; Retry 
3600000 ; Expire 
86400 ) ; Minimum 
IN NS $NAME. 
EOF 
echo " $HOST INA $IP HOST" >> $NAME. zone 
echo " $ARPA_IP3 IN PTR SHOST. $NAME." >> $ARPA IP.rev 
[ $? -eq0 ]&& echo -e "The $NAME config success:Xn $HOST INA 
$IP_HOST\n $ARPA_IP3 IN PTR SHOST. $NAME. " 
else 


sed — i "9a INNS $NAME." SREV 


echo " $HOST INA $IP_HOST" > > $NAME. zone 
echo " $ARPA_IP3 IN PTR $HOST. $NAME. " >> SREV 
[ $? -eq 0 ]&& echo - e "The $NAME config success1 :\n $HOST INA 
$IP_HOST\n $ARPA IP3 IN PTR SHOST. $NAME." 
fi 
) 


## Define Shell List A Function 
Add A List () 
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if 
cd $BND VAR 
REV = 'ls *.rev' 
read - p "Please Insert Into Your Add Name , Example 51cto.com :" NAME 
[! - e" $NAME. zone" ]; then 
echo "The $NAME. zone File is not exist ,Please ADD $NAME. zone File :" 
Add named ; 
else 
read - p "Please Enter List Name À NS File , Example /tmp/name list.txt: " FILE 
if 
[ -e SFILE ]; then 
for i in 'cat $FILE|awk '{print $2]'|sed "s/SNAME//g" | sed 's/\. $//g'' 
# for i in 'cat $FILE|awk '(print $1)'|sed "s/SNAME//g" | sed 's/\. $//g'' 
do 





echo "The $NAME. zone File is exist ,Please Enter insert NAME HOST ...." 

sleep 1 

ARPA IP- 'echo $j|awk - F. '(print $3"."$2"."$1}"' 

ARPA IP2- 'echo $j|awk —F. '(print $4)'' 

echo "$i INA $j" >> $NAME. zone 

echo " $ARPA_IP2 IN PTR $i. $NAME." >> $REV 

[ $? -eq0 ]&& echo - e "The $NAME config success:\n $i INA 
$j\n SARPA IP2 IN PTR $i. $NAME." 
done 

else 
echo "The $FILE List File IS Not Exist ....... ,Please exit ..." 
fi 

fi 
) 
## Define Shell Select Menu 
PS3 = "Please select Menu Name Config: " 
select i in "自动 安装 Bind IR" " Á ah) Mitt Bind 配置 "" 添 加 解析 域名 ”" 批 量 添加 记录" 
do 
case $i in 

"自动 安装 Bind 服务 ") 

Install 


"自动 初始 化 Bind 配置 ") 
Init Config 


"添加 解析 域名 ") 
Add named 


"批量 添加 A 记录") 
Add A List 
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sleep 1 
echo "Please exec: sh $0 { Install(1) or Init Config(2) or Add named(3) or Add config A(4) }" 


esac 
done 
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as 








随 着 企业 服务 器 数量 越 来 越 多 , 当 到 达 几 百 台 、 上 千 台 之 后 ,服务 器 日 常 管理 也 逐渐 繁 
杂 , 每 天 如 果 通 过 人 工 频繁 地 更 新 .部 署 及 管理 这 些 服务 器 ,势必 会 浪费 大 量 的 时 间 ,而 且 有 
可 能 人 为 的 操作 也 会 造成 某 些 朴 忽 而 遗漏 问题 。 这 就 需要 来 看 一 下 传统 的 运 维 以 及 今后 运 
维 的 发 展 方向 。 

本 章 向 读者 介绍 如 何 构 建 企业 自动 化 运 维 之 路 、 传 统 运 维 方案 及 自动 化 运 维 方 案 、 如 何 
建立 高 效 的 IT 自动 化 运 维 平 台 以 及 自动 化 运 维 体系 各 种 工具 等 内 容 。 


19.1 传统 运 维 方式 简介 


传统 的 IT 和 运 维 仍然 是 等 到 IT 故障 出 现 后 再 由 运 维 人 员 采 取 相 应 的 补救 措施 。 这 种 
被 动 、 孤 立 、 半 自动 式 的 IT 运 维 管理 模式 经 常 让 IT 部 门 疲惫 不 堪 , 主要 表现 在 以 下 三 个 
方面 。 

(1) 运 维 人 员 被 动 ,效率 低 。 

在 YT 运 维 过 程 中 ,只 有 当 事 件 已 经 发 生 并 对 业务 已 造成 影响 时 才能 发 现 和 着 手 处 理 ， 
这 种 被 动 “ 救 火 ” 不 但 使 IT 运 维 人 员 终 日 忙碌 ,也 使 IT 运 维 本 身 质 量 很 难 提高 ,导致 IT 部 
门 和 业务 部 门 对 IT 运 维 的 服务 满意 度 都 不 高 。 

(2) 缺乏 一 套 高 效 的 IT 运 维 机 制 。 

许多 企业 在 VT 运 维 管理 过 程 中 缺少 自动 化 的 运 维 管理 模式 ,也 没有 明确 的 角色 定义 
和 责任 划分 ,问题 出 现 后 很 难 快速 .准确 地 找到 根本 原因 ,无 法 及 时 地 找到 相应 的 人 员 进 行 
修复 和 处 理 , 或 者 是 在 问题 找到 后 缺乏 流程 化 的 故障 处 理 机 制 ,而 在 处 理 问题 时 不 但 欠缺 规 
范 化 的 解决 方案 ,也 缺乏 全 面 的 跟踪 记录 。 

(3) 缺乏 高 效 的 IT 运 维 技术 工具 。 

随 着 信息 化 建设 的 深入 ,企业 IT 系统 日 趋 复杂 ,林林总总 的 网 络 设备 、. 服 务 器 .中 间 
件 、 业 务 系统 等 让 IT 运 维 人 员 难 以 从 容 应 对 ,即使 加 班 加 点 地 维护 ,部署 .管理 也 经 常会 因 
设备 出 现 故障 而 导致 业务 的 中 断 ,严重 影响 企业 的 正常 运转 。 

出 现 这 些 问 题 部 分 原因 是 企业 缺乏 事件 监控 和 诊断 等 IT 运 维 技术 工具 ,因为 在 没有 
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高 效 的 技术 工具 的 支持 下 故障 事件 很 难得 到 主动 ,快速 地 处 理 。 


19.2 自动 化 运 维 简介 


IT 运 维 已 经 在 风 风 雨 雨中 走 过 了 十 几 个 春秋 ,如今 它 正 以 一 种 全 新 的 姿态 摆 在 我 们 面 
前 , 运 维 自动 化 是 IT 技术 发 展 的 必然 结果 ,现在 IT 系统 的 复杂 性 已 经 客观 上 要 求 IT 运 维 
必须 能 够 实现 数字 化 .自动 化 维护 。 

运 维 自动 化 是 指 将 IT 运 维 中 日 常 的 .大 量 的 重复 性 工作 自动 化 ,把 过 去 的 手工 执行 转 
为 自动 化 操作 。 自 动 化 是 IT 运 维 工作 的 升华 ,IT 运 维 自 动 化 不 单纯 是 一 个 维护 过 程 ,更 是 
一 个 管理 的 提升 过 程 ,是 IT 运 维 的 最 高 层次 ,也 是 未 来 的 发 展 趋势 。 


19.3 运 维 自动 化 的 具体 内 容 


日 常 IT 运 维 中 大 量 的 重复 性 工作 (小 到 简单 的 日 常 检查 、 配 置 变更 和 软件 安装 ,大 到 
整个 变更 流程 的 组 织 调 度 ) 由 过 去 的 手工 执行 转 为 自动 化 操作 ,从 而 减少 乃至 消除 运 维 中 的 
延迟 ,实现 “ 零 延 时 ”的 TT 运 维 。 

简单 地 说 ,IT 运 维 自动 化 是 指 基 于 流程 化 的 框架 ,将 事件 与 IT 流程 相关 联 , 一 旦 被 监 
控 系 统 发 现 性 能 超标 或 宕 机 ,会 触发 相关 事件 以 及 事先 定义 好 的 流程 ,可 自动 启动 故障 响应 
和 恢复 机 制 。 


19.4 ”建立 高 效 的 IT 自动 化 运 维 管 理 


建立 高 效 的 IT 自动 化 运 维 管理 的 步骤 主要 包括 以 下 几 点 。 

(OD 建立 自动 化 运 维 管理 平台 。 

IT 运 维 自动 化 管理 建设 的 第 一 步 是 要 先 建立 IT 运 维 的 自动 化 监控 和 管理 平台 。 
监控 工具 实现 对 用 户 操作 规范 的 约束 和 对 TT a oe ep 
间 件 ,存储 备份 网络、 安全 、 机 房 .业务 应 用 和 客户 端 等 内 容 , 通 过 自动 监控 管理 平台 实现 故 
障 或 问题 综合 处 理 和 集中 管理 。 

(2) 建立 故障 事件 自动 触发 流程 ,提高 故障 处 理 效率 。 

所 有 IT 设备 在 遇 到 问题 时 要 会 自动 报警 ,无 论 是 系统 自动 报警 还 是 使 用 人 员 报 的 故 
障 , 应 以 红色 标识 显示 在 运 维 屏幕 上 。 然 后 IT 运 维 人 员 只 需要 按照 相关 知识 库 的 数据 ,一 
步 一 步 操作 就 可 以 。 

(3) 建立 规范 的 事件 跟踪 流程 ,强化 运 维 执行 力度 。 

需要 建立 故障 和 事件 处 理 跟踪 流程 ,利用 表格 工具 等 记录 故障 及 其 处 理 情况 ,以 建立 运 

日 志 , 并 定期 回顾 从 中 辨识 和 发 现 问题 的 线索 和 根源 。 

(4) 设立 IT 运 维 关键 流程 ,引入 优先 处 理 原则 。 











第 19 章 ”自动 化 运 维 发 展 前 景 


设置 自动 化 流程 时 还 需要 引入 优先 处 理 原则 , 例 行 的 事 按 常 规 处 理 , 特 别 事件 要 按 优 先 
级 次 序 处 理 , 也 就 是 把 事件 细 分 为 例 行 事件 和 例外 关键 事件 。 


19.5 IT 自动 化 运 维 工 具 


对 于 企业 来 说 ,要 特别 关注 两 类 自动 化 工具 : 一 是 IT 运 维 监控 和 诊断 优化 工具 ; 二 是 
运 维 流程 自动 化 工具 。 这 两 类 工具 主要 应 用 于 如 下 场景 : 

CL) 监控 自动 化 : 是 指 对 重要 的 IT 设备 实施 主动 式 监 控 , 如 路 由 器 、 交 换 机 、 防 火 
墙 等 。 

(2) 配置 变更 检测 自动 化 : 是 指 IT 设备 配置 参数 一 旦 发 生变 化 ,将 触发 变更 流程 转 给 
相关 技术 人 员 进 行 确认 ,通过 自动 检测 协助 IT 运 维 人 员 发 现 和 维护 配置 。 

(3) 维护 事件 提醒 自动 化 : 是 指 通过 对 TT 设备 和 应 用 活动 的 实时 监控 , 当 发 生 异 常事 
件 时 系统 自动 启动 报警 和 响应 机 制 ,第 一 时 间 通 知 相关 责任 人 。 

(4) 系统 健康 检测 自动 化 : 是 指定 期 自动 地 对 TT 设备 硬件 和 应 用 系统 进行 健康 巡 检 ， 
配合 IT 运 维 团队 实施 对 系统 的 健康 检查 和 监控 。 

(5) 维护 报告 生成 自动 化 : 是 指定 期 自动 地 对 系统 做 日 志 的 收集 分 析 , 记 录 系 统 运行 
状况 ,并 通过 阶段 性 的 监控 ,分 析 和 总 结 ,定时 提供 IT à 运 维 的 可 用 性 、 性 能 、 系 统 资源 利用 
状况 分 析 报 告 


19.6 IT 自动 化 运 维 体系 


一 个 完善 的 自动 化 运 维 体系 包括 系统 预备 .配置 管理 以 及 监控 报警 三 个 环节 ,每 个 环节 
实现 的 功能 也 各 不 相同 ,具体 功能 如 下 : 
(1) 系统 预备 类 。 
a 自动 化 安装 操作 系统 ; 
自动 初始 化 系统 ; 
自动 安装 各 种 软件 包 。 
2) 配置 管理 类 。 
自动 化 部 署 业务 系统 软件 包 并 完成 配置 
远程 管理 服务 器 ; 
配置 文件 .自动 部 署 Jenkins、 网 站 代码 变更 回 滚 。 
(3) 监控 报警 类 。 
a 服务 器 可 用 性 性能、 安全 监控 ; 
9 向 管理 员 发 送 报警 信息 。 
根据 提供 的 功能 不 同 ,自动 化 运 维 工具 软件 分 为 以 下 3 类 ,如 下 19-1 表 所 示 。 
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表 19-1 自动 化 运 维 工具 分 类 
编 号 预备 类 工具 配置 管理 类 监控 报警 类 
1 Kickstart Puppet Nagios 
2 Cobbler Saltstack Cacti 
3 OpenQRM Func Ganglia 
4 Spacewalk Ansible Zabbix 
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Puppet 是 目前 互联 网 主流 三 大 自动 化 运 维 工具 (Puppet、Ansible、Saltstack) 之 一 ， 
Puppet 是 一 种 Linux, UNIX 平台 的 集中 配置 管理 系统 ,所 谓 配置 管理 系统 ,就 是 管理 机 器 
里 面 诸如 文件 ,用 户 、 进 程 、 软 件 包 等 资源 ,其 设计 目标 是 简化 对 这 些 资源 的 管理 以 及 妥善 处 
理 资源 间 的 依赖 关系 。 

本 章 向 读者 介绍 Puppet 工作 原理 .Puppet 安装 配置 ,企业 资源 案例 讲解 .Puppet 高 可 
用 集群 配置 .Puppet 批量 更 新 部 署 网 站 、Puppet 十 SVN 实现 代码 自动 部 署 等 内 容 。 


20.1 Puppet 入 门 简介 


Puppet 使 用 一 种 描述 性 语言 来 定义 配置 项 ,配置 项 中 被 称 为 "资源 ”描述 性 语言 可 以 
声明 用 户 的 配置 状态 ,比如 声明 一 个 软件 包 应 该 被 安装 或 一 个 服务 应 该 被 启动 等 。 

Puppet 可 以 运行 在 一 台 服 务 器 端 ,每 个 客户 端 通过 SSL 证 书 连 接 到 服务 端 ,得 到 本 机 
器 的 配置 列表 ,然后 根据 列表 来 完成 配置 工作 ,所 以 如 果 硬 件 性 能 比较 高 ,维护 管理 上 千 上 
万 台 机 器 是 非常 轻松 的 ,前 提 是 客户 端的 配置 .服务 器 路 径 、 软 件 需要 保持 一 致 。 

在 企业 级 大 规模 的 生产 环境 中 ,如 果 只 有 一 台 Puppet master, 压 力 会 非常 大 ,因为 
Puppet 是 用 Ruby 语言 编写 的 ,Ruby 是 解析 型 语言 ,每 个 客户 端 来 访问 都 要 解析 一 次 , 当 
客户 端 服务 器 很 多 ,会 造成 服务 器 端 压力 很 大 ,所 以 需要 扩展 成 一 个 服务 器 集群 组 。 

Puppet master 可 以 看 作 一 个 Web 服务 器 ,实际 上 也 是 由 Ruby 提供 的 Web 服务 器 模 
块 来 做 的 。 因 此 可 以 利用 Web 代理 软件 来 配合 Puppet master 做 集群 设置 ,一 般 使 用 
Nginx 十 Puppet master 整合 构建 大 型 企业 自动 化 运 维 管理 工具 ,Puppet 项 目 主 要 开发 者 是 
Luke Kanies, 目 前 为 Puppet labs CEO.Puppet 遵循 GPLv2 版 权 协 议 。 

Kanies 从 1997 年 开始 参与 UNIX 的 系统 管理 工作 ,Puppet 的 开发 源 于 这 些 经 验 。 因 
为 对 已 有 的 配置 工具 不 其 满意 ,从 2001 年 到 2005 年 间 ,Kanies 开始 在 Reductive 实验 室 从 
事 工具 的 开发 。 很 快 Reductive 实验 室 发 布 了 他 们 新 的 旗舰 产品 。 

Puppet 是 开源 的 基于 Ruby 的 系统 配置 管理 工具 ,Puppet 工作 流程 为 Puppet 是 一 个 
C/S 结构 ,所 有 的 Puppet 客户 端 同一 个 服务 器 端的 Puppet 通信 ,每 个 Puppet 客户 端 每 半 
小 时 (可 以 设置 ) 连 接 一 次 服务 器 端 ,下 载 最 新 的 配置 文件 ,并 且 严 格 按 照 配 置 文件 来 配置 服 
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务 器 ,配置 完成 以 后 Puppet 客户 端 可 以 反馈 给 服务 器 端 一 个 消息 ,如 果 报 错 会 给 服务 器 端 
反馈 一 个 消息 。 


20.2 Puppet 工作 原理 


要 熟练 掌握 Puppet 在 企业 生产 环境 中 的 应 用 ,需要 深入 理解 Puppet 服务 端 与 客户 端 
详细 的 工作 流程 及 原理 ,如 图 20-1 所 示 为 Puppet master 与 agent 完整 工作 流程 图 。 
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(a) 原理 框图 
master 根 据 收集 到 client 信 
息 ， 编 译 相应 的 manifest 发 送 
给 client 
Puppet client] 
Puppet client2 
Puppet client3 
client 通过 facter 收 集 client 执 行 从 master 获 取 的 
client 信 息 并 发 送 至 manifest, 完成 对 机 器 的 配置 
master 
SA 编写 manifest 的 
Pp 文件 提交 到 swn 
SA 
(b) 具体 工作 流程 


20-1 Puppet 工作 原理 图 
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Puppet 工作 原理 详解 如 下 : 

o 客户 端 Puppetd 调用 本 地 facter,facter 会 探测 出 该 主机 的 常用 变量 ,例如 主机 名 、 内 
存 大 小 \IP 地 址 等 。 然 后 Puppetd 把 这 些 信息 发 送 到 Puppet 服务 端 ; 

Puppet 服务 端 检 测 到 客户 端的 主机 名 ,然后 会 检测 manifest 中 对 应 的 node 配置 ,并 
对 这 段 内 容 进 行 解析 ,facter 发 送 过 来 的 信息 可 以 作为 变量 进行 处 理 ; 

Puppet 服务 端 匹配 Puppet 客户 端 相关 联 的 代码 才能 进行 解析 ,其 他 的 代码 不 解析 ， 
解析 分 为 几 个 过 程 , 首 先是 语法 检查 ,然后 会 生成 一 个 中 间 的 伪 代 码 , 之 后 再 把 伪 代 
码 发 给 Puppet 客户 端 ; 

Puppet 客户 端 接收 到 伪 代 码 之 后 就 会 执行 ,执行 完 后 会 将 执行 的 结果 发 送 给 
Puppet 服务 端 ; 

Puppet 服务 端 再 把 客户 端的 执行 结果 写 入 日 志 。 


D 


D 


D 


D 


20.3 Puppet 安装 配置 


Puppet 工作 为 C/S 模式 ,构建 Puppet 平台 需 安装 Puppet server hig Ml client 端 ,安装 之 
前 准备 好 系统 环境 ,说 明 如 下 : 

a 操作 系统 版 本 : CentOS 6.5 x64; 

a 服务 端 ip: 192. 168. 149. 128 hostname: 192-168-149-128-jfedu. net; 

a 客户 端 ip: 192. 168. 149. 130 hostname: 192-168-149-130-jfedu. net. 

(1) Puppet 服务 端 安装 。 

Puppet 服务 器 端 需 修改 主机 名 称 为 192-168-149-128-jfedu. net, 并 且 在 hosts 文件 添加 
主机 名 和 本 机 IP 的 对 应 关系 ,如 果 本 地 局 域 网 有 DNS 服务 器 ,可 以 无 须 修改 hosts 文件 ， 
修改 主机 名 及 配置 hosts 代码 如 下 : 


hostname 'ifconfig eth0 |grep Bcast|awk '(print $2)'|cut -d: -f2 |sed 's/A. /A - /g'' - jfedu. 
net 

cat >>/etc/hosts << EOF 

192.168. 149.128 192 - 168 - 149 - 128 - jfedu. net 

192.168.149.130 192 - 168 - 149 - 130 - jfedu. net 

EOF 


Puppet 服务 端 除了 需要 安装 Puppet server 外 ,还 需要 Ruby 的 支持 ,需要 安装 Ruby 
相关 软件 包 ,默认 YUM 安装 Puppet server, 会 自动 下 载 并 安装 Ruby 相关 软件 ,代码 如 下 ， 
详情 如 图 20-2 所 示 。 

rpm - Uvh http://yum. puppetlabs. com/el/6/products/x86 _ 64/puppetlabs - release - 6 - 1. 

noarch. rpm 


yum install puppet 一 server 一 了 
/etc/init.d/puppetmaster start 
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/etc/init.d/iptables stop 
sed — i '/SELINUX/S/enforce/disabled/' /etc/selinux/config 
setenforce 0 





图 20-2 Puppet server 服务 端 安 








(2) Puppet 客户 

Puppet 客户 端 也 需要 修改 主机 名 称 为 192-168-149-130-jfedu. net ,并且 在 hosts 文件 添 
加 主机 名 和 本 机 IP 的 对 应 关系 ,如 果 本 地 局 域 网 有 DNS 服务 器 ,可 以 无 须 修改 hosts X 
件 ,修改 主机 名 及 配置 hosts 代码 如 下 : 





hostname 'ifconfig eth0 |grep Bcast|awk '(print $2}'|cut -d: -f 2 |sed 's/A. / - /g' ' - jfedu.net 
cat »»/etc/hosts «« EOF 


192.168. 149.128 192 - 168 - 149 - 128 - jfedu. net 
192.168. 149.130 192 - 168 - 149 - 130 - jfedu. net 
EOF 


Puppet 客户 端 除了 需要 安装 Puppet 外 ,还 需要 Ruby 的 支持 ,需要 安装 Ruby 相关 软 
件 包 , 默 认 YUM 安装 Puppet ,会 自动 下 载 并 安装 Ruby 相关 软件 ,代码 如 下 ,详情 如 图 20-3 
所 示 。 

rpm — Uvh http: //yum. puppetlabs. com/e1/6/products/x86_64/puppetlabs - release - 6 — 1. noarch. rpm 

yum install puppet - y 

/etc/init. d/puppetmaster start 

/etc/init. d/iptables stop 


sed - i '/SELINUX/S/enforce/disabled/' /etc/selinux/conf ig 


setenforce 0 


(3) Puppet 客户 端 申 请 证 书 。 

Puppet 客户 端 与 Puppet 服务 端 是 通过 SSL 隧道 通信 的 ,客户 端 安装 完成 后 ,首次 使 用 
需 向 服务 器 端 申请 Puppet 通信 证 书 .Puppet 客户 端 第 一 次 连接 服务 器 端 会 发 起 证 书 申 请 ， 
在 Puppet 客户 端 执行 命令 如 下 ,返回 结果 如 图 20-4 Bros. 








puppet agent —- server 192 - 168 — 149 — 128 — jfedu.net —- test 
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puppet agent --serv 2 28-jfedu.net --test 








20-4 Puppet 客户 





发 起 证 书 申请 


(4) Puppet 服务 端 颁发 证 

Puppet 客户 端 向 服务 器 发 起 证 书 申请 ,服务 器 端 必须 审核 证 书 , 如 果 不 审核 ,客户 端 与 
服务 器 端 无 法 进行 后 续 正 常 通信 ,Puppet 服务 端 颁发 证 书 命令 代码 详解 如 下 ,返回 结果 如 
图 20-5 所 示 








[root 
[root@192 





图 20-5 Puppet 服务 端 颁 





puppet cert --list; 查看 申请 证 书 的 客户 端 ENS 

puppet cert -s 192-168-149-130-jfedu. net: 颁发 证 书 给 客户 端 ; 
LL 颁发 证 书 s 

puppet cert -s and -a: 给 所 有 的 主机 颁发 证 书 ; 





puppet cert 


D D D D 
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O puppet cert --list --all; 查看 已 经 颁发 的 所 有 证 书 。 


20.4 Puppet 企业 案例 演示 


Puppet 是 基于 C/S 架构 ,服务 器 端 保 存 着 所 有 对 客户 端 服务 器 的 配置 代码 ,在 Puppet 
服务 端 该 配置 文件 叫 manifest ,客户 端 下 载 manifest 之 后 ,可 以 根据 manifest 对 客户 端 进行 
配置 ,例如 软件 包 管理 ,用 户 管理 ,文件 管理 ,命令 管理 ,脚本 管理 等 ,Puppet 主要 基于 各 种 
资源 或 者 模块 来 管理 客户 端 。 

默认 Puppet 服务 器 端 manifest 目录 在 /etc/puppet/manifests/ 下 ,只 需要 在 该 目录 下 
创建 一 个 site. pp 文件 ,然后 写 人 相应 的 配置 代码 ,Puppet 客户 端 跟 Puppet 服务 端 同步 时 ， 
会 检查 客户 端 node 配 置 文件 ,匹配 之 后 会 将 该 代码 下 载 至 客户 端 ,对 代码 进行 解析 ,然后 在 
客户 端 执行 。 

以 下 为 在 Puppet 客户 端 创 建 test.txt 文件 ,并 在 该 文件 中 写 入 测试 内 容 , 操 作 方 法 
如 下 。 

(1) Puppet 服务 端 创建 node 代码 ,创建 或 者 编辑 vi/etc/puppet/manifests/site. pp 文 
件 ,在 文件 中 加 入 如 下 代码 : 

node default ( 

file( 

"/tmp/test. txt": 

content => "Hello World, jfedu. net 2017"; 
} 

} 

manifests site. pp 配置 文件 代码 详解 如 下 : 

a node default; 新 建 node 节点 ,default 表示 所 有 主机 ,可 修改 为 特定 主机 名 ; 

a file; 基于 file 资源 模块 管理 客户 端 文件 或 者 日 录 操作 ; 

a "/tmp/test.txt": 需 在 客户 端 文件 创建 的 文件 名 ; 

a content; 客户 端 服务 器 文件 内 容 。 

(2) 客户 端 执行 同步 命令 ,获取 Puppet 服务 端 node 配置 ,代码 如 下 ,如 图 20-6 所 示 , 执 
行 报错 。 


puppet agent -- server = 192 - 168 - 149 - 128 - jfedu.net -- test 
报错 原因 是 因为 服务 器 端 与 客户 端 时 间 不 同步 导致 的 ,需要 同步 时 间 , 然 后 再 次 执行 
puppet agent 命令 ,代码 如 下 ,详情 如 图 20-7 所 示 。 


ntpdate pool. ntp. org 
puppet agent -- server = 192 - 168 - 149 - 128 - jfedu.net -- test 


Puppet 客户 端 执行 同步 效果 ,执行 日 志 如 下 ,会 在 /tmp/ 目 录 创 建 test.txt 文件 ,内容 为 
“Hello World.jfedu. net”, 即 证 明 Puppet 客户 端 成 功 获 取 服 务 端 node 配置 。 
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图 20-6 Puppet 客户 端 同步 服务 端 配 置 





图 20-7 Puppet 客户 端 获 取 服 务 端 node 配置 


Info: Caching certificate revocation list for ca 
Warning: Unable to fetch my node definition, but the agent run will continue: 

Warning: undefined method ' include?' for nil:NilClass 

Info: Retrieving pluginfacts 

Info: Retrieving plugin 

Info: Caching catalog for 192 - 168 — 149 - 130 - jfedu. net 

Info: Applying configuration version '1496805041' 

Notice: /Stage [main ]/Main/Node [ default ]/File [/tmp/test. txt ]/ensure: defined content as ' 
{md5 }d1c2906ad0b249a330e936e3bc1d38d9" 

Info: Creating state file /var/lib/puppet/state/state. yaml 


Notice: Finished catalog run in 0.04 seconds 


20.5 Puppet 常见 资源 及 模块 


端 ,目前 企业 主流 Puppet 管理 客户 端 资源 模 





Puppet 主要 基于 各 种 资源 模块 管理 客户 
块 如 下 : 

a file; 主要 负责 管理 文件 ; 

o package: 软件 包 的 安装 管理 ; 


w 
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service; 系统 服务 的 管 

a ceon, ERES 

ec: 远程 执行 运行 命令 。 

通过 命令 puppet describe -1 可 以 查看 Puppet 支持 的 所 有 资源 和 模块 ,如 图 20-8 所 示 。 


root@192-168-149-128-jTedu ~]# puppet 
These are the types known to puppe 
augeas - Apply a change or an array of changes to the 
computer Computer object management using Directoryser . 
Installs and manages cron jobs 
Executes external commands 
Manages files, including their content, owner . 
filebucket A repository for storing and retrieving file 
roup Manage groups 
ost Installs and manages host entries 
interface This represents a router or switch interface 
k5login Manage the `.k5login file for a user 
macauthorization - Manage the Mac OS X authorization database 
mailalias . no documentation .. 
Manage email lists 





(a) Puppet 支 持 的 资源 及 模块 (1) 


o documentation .. 

Define schedules for Puppet 

Installs and manages windows Scheduled Tasks 

Manages SELinux booleans on systems with SELi 

Manages loading and unloading of SELinux poli 

- Manage running services 
Lkey - Manages SSH authorized keys 
- Installs and manages ssh host keys 
- A resource type for creating new run stages 
- Remove unwanted files based on specific crite ... 
Manage users 
. no documentation .. 

Whits are internal artifacts of Puppet's curr ... 
yumrepo The client-side description of a yum reposito ... 
zfs Manage zfs 
zone Manages Solaris zones 








(b) Puppet 支 持 的 资源 及 模块 (2) 





图 20-8 Puppet 支持 的 资源 及 模块 


通过 命令 puppet describe -s file 可 以 查看 Puppet file 资源 所 有 的 帮助 信息 ,如 
所 示 





[root@192-168-149-128-jfedu ~]# puppet describe -s file 
file 


Manages pales, including their content, ownership, and permissions. 
The file type can manage normal files, directories, and symlink 
type should be specified in the ensure’ attribute. 

File contents can be managed directly with the content attribute, 
downloaded from a remote source using the source attribute; the la 
can also be used to recursively serve directories (when the recurse 
attribute is set to true or local’). On windows, note that file 
contents are managed in binary mode; Puppet never automatically tran 
Tine endings. 

**Autorequires:** If Puppet is managing the user or group that owns 
file, the file resource will autorequire them. If Puppet is managing 
parent directories of a file, the file resource will autorequire thei 





(a) Puppet file 资 源 模块 详情 (1) 


图 20-9 Puppet file Vti 





BURCH 














第 20 章 ”Puppet 自动 运 维 企业 实战 


**Autorequires:** If Puppet is managing the user or group that owns a 
file, the file resource will autorequire them. If Puppet is managing any 
parent directories of a file, the file resource will autorequire them. 


Parameters 


backup, checksum, content, ctime, ensure, force, group, ignore, 


mode, 


d 


posix, 


mtime, owner, path, purge, recurse, recurselimit, replace, 
selinux_ignore_defaults, selrange, selrole, seltype, seluser, show_di 
source, source_permissions, sourceselect, target, type, validate_cmd, 
validate_replacement 


windows 


(b) Puppet file 资源 模块 详情 (2) 


图 20-9 (4D 


20.6 Puppet file 资源 案例 


Puppet file 资源 主要 用 于 管理 客户 端 文件 ,包括 文件 的 内 容 . 所 有 权 和 权限 ,其 可 管理 
年 文件、 目录 以 及 符号 链接 
确保 "属性 中 指定 .如 果 是 文件 内 容 可 以 直接 用 content 属性 来 管理 ,或 者 使 
用 source 属性 从 远程 源 下 载 ,后 者 也 可 以 用 recurse 服务 目录 ( 当 recurse 属性 设置 为 true 





的 文件 类 型 包括 
类 型 应 在 ” 








ak local HY. Puppet 
认 





a ensure: 


D 






ctime; Hj 
只 


Xs 


mtime; Hix 


content; Xf 


D D DD D D B DUO D D 0 


links. mode. mtime. owner. path. purge. recurse. recurselimit. replace,selinux_ 
ignore defaults. selrange. selrole. seltype. seluser. show_ diff, source, source _ 


permissions. sourceselect. target. type. validate cmd.validate replacement, 


file 3 
为 文人 


EF 的 内 容 

















支持 参数 详解 如 下 : 


目录 


backup: 通过 filebucket 备份 文件 
checksum, 检查 文件 是 否 被 修改 的 方法 
性 ,文件 的 更 新 时 间 

性 ,文件 的 修改 时 间 


j source 和 target HK 


force: 强制 执行 删除 文件 、 软 链接 及 目录 的 操作 
owner: 用 户 名 或 用 户 ID 

group: 指定 文件 名 的 用 户 组 或 组 ID 

link: 软 链接 。 
mode; 文件 权限 配置 ,通常 采用 数字 符号 
path: 文件 路 径 


parameters; backup. checksum. content. ctime. ensure. force. group. ignore. 


Q providers: posix. windows, 


links 
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(1) 从 Puppet 服务 器 下 载 nginx. conf 文件 至 客户 端 /tmp 目录 ,首先 需要 将 nginx. 
conf 文件 cp 至 /etc/puppet/files 目录 ,然后 在 /etc/puppet/fileserver. conf 中 添加 以 下 三 行 
代码 ,并 重启 Puppet master 即 可 。 


[files] 
path /etc/puppet/files/ 


allow * 
创建 site. pp 文件 ,代码 如 下 ; 


node default { 
file( 
'/tmp/nginx. conf! : 
mode => '644', 
owner => 'root', 
group => 'root', 
source => 'puppet://192 - 168 - 149 - 128 - jfedu. net/files/nginx. conf', 


) 
客户 端 同步 配置 ,如 图 20-10 所 示 


=]Tedu 
jfedu 





图 20-10 Puppet file 资源 远程 下 载 文件 


(2) 从 Puppet 服务 器 下 载 sysctl. conf ,如 果 客 户 端 该 文件 存在 则 备份 为 sysctl. conf. 
bak ,然后 再 覆盖 原文 件 ,site. pp 代码 如 下 ,详情 如 图 20-11 所 示 。 


node default { 


file( 
"/etc/sysctl.conf" : 
source => "puppet://192 - 168 - 149 - 128 - jfedu. net/files/sysctl.conf", 
backup => ".bak $uptime seconds", 

) 


) 
(3) Æ agent 上 创建 /export/docker fi £x E42 JJ / var/lib/docker/ ,site. pp 代码 如 下 , 详 
情 如 图 20-12 所 示 。 
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图 20-11 Puppet file 





node default { 


file( 

"/var/lib/docker" : 

ensure => link, 

target => "/export/docker", 
} 








图 20-12 Puppet file 资源 备份 文件 





(4) 在 agent. 上 创建 目录 /tmp/20501212,site. pp 代码 如 下 ,详情 如 图 20-13 所 示 


node default { 
file { 
"/tmp/20501212" : 


ensure => directory; 





图 20-13 Puppet file 创建 目录 
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20.7 Puppet package 资源 案例 


Puppet package 资源 主要 用 于 管理 客户 端 服务 器 的 软件 包 , YUM W Jy /etc/yum. 
repo. d/ 安 装 和 升级 操作 ,通过 Puppet 基于 YUM 自动 安装 软件 包 , 所 以 需要 先 配 置 好 
YUM 源 。 

常见 的 操作 可 以 对 软件 包 进 行 安装 、 印 载 以 及 升级 操作 。Puppet package 资源 支持 参 
数 详 解 如 下 : 


a 


B p o D 


D 


口 


parameters; adminfile, allow _ virtual, allowcdrom, category, configfiles, description, 
ensure, flavor, install_ options, instance, name, package _ settings, platform, 
responsefile. root, source, status.uninstall options. vendor, 

providers: aix. appdmg, apple. apt. aptitude. aptrpm. blastwave. dpkg. fink. freebsd, 
gem. hpux. macports. msi. nim. openbsd. opkg. pacman. pip. pkg.pkgdmg. pkgin. 
pkgutil. portage. ports. portupgrade. rpm. rug. sun, sunfreeware. up2date. urpmi, 
windows. yum, zipper. 

present; 检查 软件 是 否 存在 ,不 存在 则 安装 。 

软件 

absent: 删除 (无 依赖 ), 当 别 的 软件 包 依 赖 时 ,不 可 删除 。 

pureged: 删除 所 有 配置 文件 和 依赖 包 , 有 潜在 风险 , 慎 用 

latest: 升级 到 最 新 版 本 

安装 具体 的 某 个 版 本 号 





installed: 表示 








version: 4&4 


COD 客户 端 安装 ntpdate 及 screen 软件 ,代码 如 下 ,执行 结果 如 图 20-14 所 示 。 


node default { 


package { 
["screen", "ntp"]: 


ensure => "installed"; 





图 20-14 Puppet package 安装 软件 
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(2) 客户 端 印 载 ntpdate 及 screen 软件 ,代码 如 下 ,执行 结果 如 图 20-15 所 示 。 


node default { 
package { 
["screen", "ntp"]: 
ensure => "absent"; 





图 20-15 Puppet package 1H] 4X 4X ft 


20.8 Puppet service 资源 案例 


bici service 资源 主要 用 于 启动 .重启 和 关闭 客户 端的 守护 进程 ,同时 可 以 监控 进程 
态 ,还 可 以 将 守护 进程 加 入 到 自 启 动 中 。Puppet service 资源 支 详解 如 下 : 


Q parameters; binary. control. enable. ensure. flags. hasrestart, hasstatus, manifest, 





name. path. pattern, restart. start. status. stop 

Q providers: base. bsd. daemontools. debian. freebsd. gentoo. init. launchd. openbsd. 
openrc, openwrt, redhat, runit. service. smf, src. systemd, upstart, windows, 

a enable: 指定 服务 在 开机 的 时 候 是 否 启动 ,可 以 设置 true 和 false, 

a ensure: 是 否 运 行 服务 ,running 表示 运行 ,stopped 表示 停止 服务 。 

a name; 守护 进程 的 名 字 

a path: 启动 脚本 搜索 路 径 

a provider: 默认 为 init 。 

o hasrestart 管理 脚本 是 否 支 持 restart 参数 ,如 果 不 支 持 , 就 用 stop 和 start 实现 
restart 效果 。 

a hasstatus; 管理 脚本 是 否 支持 status 参数 ,Puppet 用 status £ 参数 来 判断 服务 是 否 已 
经 E 了 了 .如果 不 支持 status 参数 ,Puppet 利用 查找 运行 进程 列表 里 面 是 否 有 服 

名 来 判断 服务 是 否 在 运行 
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(1) 启动 agent httpd 服务 ,停止 nfs 服务 ,代码 如 下 ,结果 如 图 20-16 所 示 。 


node default ( 


service ( 
"httpd": 
ensure => running; 
"nfs 
ensure => stopped; 
} 


Stage [main] /Main/Node [default] /Serv ]/ensure: ensure change 


Stage [main] /Main/Node [default] /Service[httpd]/ensure: ensure chang 


httpd 
httpd 
httpd 
httpd 
httpd 
httpd 
httpd 
httpd 
httpd 
c http 
[rootà192-168-14 g 
root 6761 1061 1: 00:00: 9 nfs 
[root@192-168-149 








(b) Puppet service 重 启 服务 


图 20-16 Puppet service 





启 服务 


(2) 启动 agent httpd 服务 并 且 开 机 启动 ,停止 nfs 服务 ,开机 不 启动 ,代码 如 下 ,结果 如 
图 20-17 所 示 


node default { 





Service { 
"httpd": 
ensure => running, 
enable => true; 
"nfs 
ensure => stopped, 
enable => false; 

) 
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& chkconfi 
2:off 


puppet agent 


tage[main]/Main/Node[default]/Serv 
stage[mai 


nished catalog run in 0.55 seco 


[main] /Main/N 


n]/Main/Node [default] /Servic 
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5:on 


5:off 


enab] 


[httpd]/enal 


enable 


6:off 


6:off 
2-168-149-12. 


e: enable ch 


ble: enable 


able ch 


main]/Main 


catalog 


[root@192-1 

nfs 
[root@192-168-14! 
froot@192-16 


(b) Puppet service FF HU; 


图 20-17 


d]/enable 


1 动 (2) 


Puppet service 开机 启动 


20.9 Puppet exec 资源 案例 


exec 


Puppet exec 资源 主要 用 于 客户 
足 


A 


口 


= 


-次 性 执行 资源 ,在 不 同类 


parameters; command. 


path. refresh, refreshonly. returns. timeout. tries. try - 


user 


! 端 远程 执行 
里 面 exec 名 字 可 以 相同 


creates, 


fe Ay 


命令 或 者 软件 安装 等 , 相 


cwd. 


providers; posix. shell. windows 


指定 


command; 


creates; 指 


要 执行 的 系统 
定 命令 所 生成 的 文件 
目录 ,如 果 目 录 不 存在 , 则 命令 执行 


p 
far > 


失败 


cwd: 指定 命令 执行 
group: 执行 命令 运 和 cannon 


logoutput: 是 否 记 录 输 出 


onlyif; exec 只 会 


在 onlyif 设 定 的 


命令 返回 0 时 才 执 行 


Puppet exec 资源 


enable 





sleep. umask. 


path: 命令 执行 的 搜索 路 径 。 
refresh => true| false: 刷新 命令 执行 状态 。 
refreshonly => true|false: 该 属性 可 以 使 命令 变 成 仅 刷新 触发 的 。 


于 shell 的 调用 ， 
支持 参数 如 下 : 


environment. group. logoutput. onlyif, 


unless. 
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returns: 指定 返回 的 代码 。 

timeout: 命令 运行 的 最 长 时 间 。 

tries: 命令 执行 重 试 次 数 , 默 认为 1。 

try sleep: 设置 命令 重 试 的 间隔 时 间 ,单位 为 s。 

user: 指定 执行 命令 的 账户 。 

Q provider; shell 和 windows, 

a environment: 为 命令 设 定额 外 的 环境 变量 ,要 
会 被 覆盖 。 

(1) agent 服务 器 执行 tar 解压 Nginx 软件 包 , 代 码 如 下 ,结果 如 图 20-18 所 示 。 





D D D D D 





的 是 如 果 设 定 path, path 的 属性 


node default { 


exec { 

‘Agent tar xzf nginx- 1. 12. 0. tar. gz' : 

path => ["/usr/bin", "/bin"], 

user => 'root', 

group => 'root', 

timeout => '10', 

command => 'tar - xzf /tmp/nginx- 1.12. 0. tar. gz', 
} 








图 20-18 Puppet exec 远程 执行 
(2) agent 服务 器 远程 执行 auto_install_nginx. sh 脚本 ,代码 如 下 ,结果 如 图 20-19 所 示 。 


node default { 


file( 
"/tmp/auto install nginx.sh": 
source -»"puppet://192 - 168 - 149 - 128 - jfedu. net/files/auto install nginx.sh", 
owner 三 > "root", 
group => "root", 
mode => 755, 
} 
exec { 


"/tmp/auto install nginx.sh": 
cwd => "/tmp", 
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user => root, 
path => ["/usr/bin", "/usr/sbin","/bin 





/bin/sh"], 


install. ngin. 





图 20-19 Puppet exec 执行 Nginx 安装 脚本 


(3) agent 服务 器 更 新 sysctl. conf ,如果 该 文件 发 生 改 变 , 则 执行 命令 sysctl -p ,代码 如 
下 ,结果 如 图 





20-20 所 示 


node default { 





file { 
"/etc/sysctl.conf": 
source =>"puppet://192 - 168 - 149 - 128 - jfedu. net/files/sysct1. conf", 
owner => "root", 
group => "root", 
mode => 644, 
} 
exec { 
"sysctl refresh kernel config": 
path =>["/usr/bin", "/usr/sbin", "/bin", bin" ], 
command =>"/sbin/sysctl - p", 
subscribe => File["/etc/sysctl.conf"], 
refreshonly = > true 
) 


4.ip_forward 
nf. default 
conf. default.accept_sour 





(a) Puppet exec 更 新 执行 触发 





20-20 Puppet exec 更 新 执行 触发 命令 
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(b) Puppet exec 更 新 执行 触发 命令 (2) 


图 20-20 (4) 


20.10 Puppet cron 资源 案例 


Puppet cron 资源 主 


:要 用 于 安装 和 管理 crontab 计划 任务 ,每 一 个 cron 资源 需要 一 个 





command 属性 和 user 属性 以 及 至 少 一 个 周期 属性 (hour、 minute, month, monthday, 


weekday) 。 
crontab j 


假如 用 户 指 定 








+ 划 任务 的 名 称 不 是 计划 任务 的 一 部 分 , 它 是 Puppet 用 来 存储 和 检索 该 资源 。 
一 个 除了 名 称 其 他 的 都 和 一 个 已 经 存在 的 计划 任务 相同 ,那么 这 两 个 计划 
久 的 ,并且 新 名 称 将 会 永久 地 与 该 计划 任务 相关 联 。Puppet cron 资源 支持 





参数 详解 如 下 : 


Q parameters; command. ensure. environment. hour. minute. month. monthday. 


name. 
provid 


user: 


hour: 


month 
month 


name; 


command; 要 执行 的 命令 或 脚本 路 径 , 可 不 写 
ensure: 表示 该 资源 是 否 启用 ,可 设置 成 true sk false 


special, target, user, weekday 
ers: crontab, 
加 某 个 用 户 的 crontab 任务 ,默认 是 运行 Puppet 的 用 户 


默认 是 title 名 称 。 











亦 量 


environment; crontab 环境 里 面 指定 环境 变量 


设置 crontab 的 小 时 ,可 设置 成 0 一 23 


oun 


minute; 指定 crontab 的 分 钟 , 可 设置 成 0 一 59 


: 指定 crontab 运行 的 月 份 ,可 设置 成 1 一 12 
day: 指定 月 的 天 数 可 设置 成 1 一 31 
crontab 的 名 字 , 区 分 不 同 的 crontab 


provider: 可 用 的 provider 有 crontab 默认 的 crontab 程序 。 
target: crontab 作业 存放 的 位 置 。 
weekday: 设置 crontab 的 星期 数 .可 设置 成 0 一 7, 其 中 周 日 为 0。 


D, O D D D D D D D D D D D 


(1) agent 服务 器 添加 ntpdate 时 间 同 步 任 务 ,代码 如 下 ,结果 如 图 20-21 所 示 。 


node default { 
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cron{ 
"ntpdate" : 
command = > "/usr/sbin/ntpdate pool.ntp.org", 
user => root, 
hour => 0, 
minute => 0, 
) 








21 Puppet cron 创建 任务 计划 


(2) agent 服务 器 删除 ntpdate 时 间 同 步 任务 ,代码 如 下 





如 图 20-22 所 示 。 


node default { 
cron( 
"ntpdate" : 
command = > "/usr/sbin/ntpdate pool. ntp. org", 
user => root, 
hour => 0, 
ninute => 0, 


ensure = > absent, 





图 20-22 Puppet cron 删除 任务 计划 
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20.11 Puppet 日 常 管理 与 配置 


Puppet 平台 构建 完毕 ,能 够 使 用 Puppet 去 管理 客户 端 , 对 文件 .服务 .脚本 、 各 种 配置 
的 变更 ,如 果 要 管理 批量 服务 器 ,还 需要 进行 一 些 步骤 的 配置 。 


20.11.1 Puppet 自动 认证 


企业 新 服务 器 通过 kickstart 自动 安装 Linux 操作 系统 ,安装 完毕 ,可 以 自动 安装 
Puppet 相关 软件 包 ,Puppet 客户 端 安装 完毕 , 需 向 Puppet 服务 端 请 求证 书 , 然 后 Puppet 
服务 端 颁发 证 书 给 客户 端 ,默认 需要 手动 颁发 ,可 以 通过 配置 让 Puppet 服务 端 自动 颁发 
证 书 。 

自动 颁发 证 书 前 提 是 服务 端 与 客户 端 能 ping 通 彼此 的 主机 名 ,配置 自动 颁发 证 书 需 在 
Puppet 服务 器 端的 puppet. conf 配置 文件 main 段 加 入 如 下 代码 ,详情 如 图 20-23 所 示 。 








[main] 


autosign = true 


The Puppet log dire 
defau ardir/log’ 


re kept 
ardir/run' 


rtificates are kept 
value is ‘Sconfdir/ss1 





图 20-23 Puppet 服务 端 添加 自动 颁发 证 书 
重启 Puppet master 服务 ,并 且 删 除 192. 168. 149. 130 证 书 ,代码 如 下 : 


/etc/ init. d/puppetmaster restart 
puppet cert -- clean 192 - 168 - 149 - 130 - jfedu. net 


删除 Puppet 客户 端 SSL 文件 ,重新 生成 SSL 文件 ,执行 如 下 命令 自动 申请 证 书 : 


rm — rf /var/lib/puppet/ssl/ 
puppet agent —- server = 192 — 168 - 149 - 128 - jfedu.net —- test 


Puppet 服务 端 会 自动 认证 , 即 服务 器 端 不 必 手 动 颁发 证 书 ,减轻 人 工 的 干预 和 操作 ,如 
图 20-24 所 示 。 
20.11.2 Puppet 客户 端 自动 同步 


Puppet 客户 端 安装 完 , 并 且 认 证 完 之 后 .如 果 在 Puppet 服务 端 配置 了 node 信息 ,客户 
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图 20-24 Puppet 客户 端 自动 获取 证 书 





ri Ë, 如 果 要 修改 同步 的 时 间 频 率 ,修改 Puppet 





端 启动 服务 ,默认 30min 自动 与 服务 端 同步 
客户 端 配置 信息 即 可 。 

Puppet 客户 端 配置 Puppet 相关 参数 和 同步 时 间 , 修改/etc/sysconfig/puppet 配置 文 
件 , 最 终 代码 如 下 : 

& The puppetmaster server 

PUPPET SERVER = 192 - 168 - 149 - 128 - jfedu. net 


# IE you wish to specify the port to connect to do so here 


PUPPET PORT - 8140 
# Where to log to. Specify syslog to send log messages to the system log. 


PUPPET LOG = /var/log/puppet/puppet. log 

# You may specify other parameters to the puppet client here 

PUPPET EXTRA OPTS- -- waitforcert = 500 

/etc/ sysconfig/ puppet 配置 文件 参数 详解 如 下 

a PUPPET SERVER —192-168-149-128-jfedu. net: 指定 Puppet master 主机 名 。 
a PUPPE] 
a PUPPET LOG — /var/log/puppet/puppet. log: Puppet 客户 端 日 志 路 径 。 








PORT=8140; 指定 Puppet master 端口 。 





A^ 


a PUPPET EXTRA, OPTS waitforcert —500; 获取 Puppet master 证 书 返回 等 待 
时 间 。 
重启 Puppet 客户 端 服务 ,客户 端 会 半 个 小 时 跟 服务 器 同步 一 次 配置 信息 ,代码 如 下 : 
/etc/ init. d/puppet restart 
可 以 修改 与 服务 器 端 同 步 配置 信息 的 时 间 ,修改 vi /etc/puppet/puppet. conf 文件 ,在 
[agent] 段 如 入 如 下 语句 ,表示 60s 与 Puppet master 同步 一 次 配置 信息 ,重启 Puppet, 同 步 
结果 如 图 20-25 所 示 


[agent] 
runinterval = 60 


20.11.3 Puppet 服务 端 主 动 推 送 
上 述 Puppet 客户 端 配置 每 60s 与 服务 端 同步 配置 信息 ,如 果 服 务 器 端 更 新 了 配置 信 
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图 20-25 Puppet 客户 端 自 动 同步 服务 端 配 置 


息 , 想 立刻 让 客户 端 同步 ,如 何 通 知客 户 端 来 获取 最 新 的 配置 信息 呢 ? 可 以 使 用 Puppet 
master 主动 推送 的 方式 ,让 客户 端 更 新 服务 端 最 新 的 配置 信息 

Puppet 服务 器 端 使 用 puppet run 命令 可 以 给 客户 端 发 送 一 段 信号 ,告诉 客户 端 立刻 跟 
服务 器 同步 配置 信息 ,配置 方法 如 下 。 

(1) 修改 Puppet 客户 端 配置 文件 /etc/puppet/puppet. conf ,在 agent 段 加 入 如 下 代码 : 






[agent] 


listen = true 

(2) 修改 Puppet 客户 端 配置 文件 /etc/sysconfig/puppet, 指 定 Puppet master 端 主机 
名 ,代码 如 下 : 

PUPPET SERVER = 192 - 168 - 149 - 128 - jfedu. net 

(3) 创建 Puppet 客户 端 配置 文件 namespaceauth. conf. 5 AWM FH: 


[puppetrunner] 


allow * 
(A) 修改 Puppet 客户 端 配置 文件 auth. conf. fE path /前 添加 如 下 代码 : 


path /run 
method save 
allow * 


(5) 重启 Puppet 客户 端 ,代码 如 下 : 

/etc/init. d/puppet restart 

(6) Puppet 服务 端 执行 如 下 命令 ,通知 客户 端 来 同步 配置 ,也 可 以 批量 通知 其 他 客户 
端 ,只 需 将 客户 端的 主机 名 写 入 host.txt 文件 .代码 如 下 ,详情 如 图 20-26 所 示 。 


puppet kick - d 192 一 168 - 149 — 130 - jfedu. net 
# puppet kick - d 'cat host. txt' 
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图 20-26 Puppet 主动 通知 客户 端 同 步 配 置 


20.12 Puppet 批量 部 署 案 例 


随 着 IT 行业 的 迅猛 发 展 ,传统 的 运 维 方式 靠 大 量 人 力 比较 吃力 , 近 几 年 自动 化 运 维 管 
理 快 速 地 发 展 ,得 到 了 很 多 IT 运 维 人 员 的 青睐 ,一 个 完整 的 自动 化 运 维 包括 系统 安装 、 配 
和 置 管理 ,服务 监控 三 个 方面 。 以 下 为 Puppet 应 用 案例 。 

某 互 联网 公司 新 到 100 台 硬 件 服务 器 ,要求 统一 安装 Linux 系统 ,并 部 署 上 线 以 及 后 期 
的 管理 配置 。 对 于 Linux 系统 安装 , 需 采 用 批量 安装 ,批量 安装 系统 主流 工具 为 Kickstart 
和 Cobbler, 任 选 其 一 即 可 。 

如 果 采 用 自动 安装 的 话 , 可 以 自动 初始 化 系统 、 内 核 优化 及 常见 服务 、 软 件 客户 端 等 安 
装 。Puppet 客户 端 可 以 放 在 Kickstart 中 安装 并 配置 完毕 。 

当 Linux 操作 系统 安装 完成 后 ,需要 对 服务 器 进行 相应 的 配置 ,应 对 高 并 发 网 站 ,例如 
修改 动态 IP 为 静态 卫 、 安 装 及 创建 crontab 任务 计划 、 同 步 操作 系统 时 间 、 安 装 Zabbix 客 
户 端 软件 ,优化 内 核 参数 等 ,可 以 基于 Puppet 统一 调整 


20.12.1 Puppet 批量 修改 静态 IP 案例 


现 需 要 修改 100 台 Linux 服务 器 原 DHCP 动态 获取 的 IP 为 static IP 地 址 ,首先 需要 
修改 IP 脚本 ,将 该 脚本 推送 到 客户 端 ,然后 执行 脚本 并 重启 网 卡 即 可 ,步骤 如 下 。 
(1) 修改 IP 为 静态 IP 的 shell 脚本 代码 如 下 : 














# !/bin/bash 
# auto Change ip netmask gateway scripts 
# By author jfedu. net 2017 
# Def ine Path variables 
ETHCONF = /etc/sysconfig/network - scripts/ifcfg - eth0 
DIR = /data/backup/'date + % Y %m% d' 
IPADDR = 'ifconfig|grep inet|grep 192|head —1|cut - d: - f2|awk '{print $1)'' 
NETMASK = 255.255. 255. 0 
grep dhcp $ETHCONF 
if [ $? -eq0 ];then 
sed - i 's/dhcp/static/g' $ETHCONF 
echo - e "IPADDR = $IPADDR\nNETMASK = $NETMASKN nGATEWAY = 'echo $IPADDR|awk - F. ' 
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{print $1"." $2". " $3] ''. 2" >> SETHCONF 


fi 


(2) Puppet master 执行 kic 


echo "The IP configuration success. 


service network restart 





送 配置 至 agent 服务 器 远程 ,Puppet 客户 端 修改 IP 脚 


本 代码 如 下 ,结果 如 图 20-27 所 示 。 


node default { 


file( 


} 


exec { 





"/tmp/auto change _ ip. sh": 
source =>"puppet: //192 - 168 - 149 - 128 - jfedu.net/files/auto change ip.s 





owner => "root", 
group => "root", 
mode => 755, 


"/tmp/auto change ip.sh": 

cwd => "/tmp/", 

user = > root, 

path => ["/usr/bin","/usr/sbin","/bin","/bin/sh"], 


Getting status 


[ [root@192-168- 


edu tmp]£ cat /etc/s nfig/network-scrip 


1 Jstatic 77 xk 





图 20-27 Puppet 配置 static IP 
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20.12.2 Puppet 批量 配置 NTP 同步 服务 器 


在 100 台 Linux 服务 器 上 配置 crontab 任务 ,修改 ntpdate 与 ntp 服务 端 同步 时 间 , 操 
ERUF. 

(D Puppet master 上 创建 客户 端 node 配置 ,可 以 编写 NTP 模块 ,使 用 class 可 以 定义 
模块 分 组 ,对 不 同业 务 进行 分 组 管理 ,/etc/puppet/modules/ntp/manifests/init. pp 配置 文 
件 代 码 如 下 ,将 原 ntpdate 同步 时 间 从 0 点 0 分 改 成 每 5min 同步 一 次 时 间 , 并 且 修 改 原 
pool. ntp. org 服务 器 为 本 地 局 域 网 NTP 时 间 服 务 器 的 IP 地 址 。 

class ntp ( 

Exec ( path =>" /bin: /sbin: /bin/sh:/usr/bin:/usr/sbin:/usr/1local/bin:/usr/local/sbin"] 
exec ( 
"auto change crontab ntp conf ig" : 
command =>"sed — i - e '/ntpdate/s/0/ * V/5 /2' — e 's/pool.ntp. org/10.1.1. 21/' /var/ 
spool/cron/root", 
) 
) 


(2) fE/etc/puppet/manifests 目录 创建 两 个 文件 ,分 别 为 modules. pp 和 nodes. pp. ft 
块 入 口 文件 以 及 node 配置 段 。 
modules. pp 配置 文件 内 容 如 下 : 


import "ntp" 
nodes. pp 配置 文件 内 容 如 下 : 


node default( 
include ntp 


) 
(3) 在 site. pp 中 加 载 导 入 modules. pp 和 nodes. pp 名 称 ,site. pp 代码 如 下 : 


import "modules. pp" 

import "nodes. pp" 

(4) Puppet master 执行 kick 推送 配置 至 agent 服务 器 远程 ,Puppet 客户 端 最 终结 果 如 
图 20-28 所 示 。 

当 服 务 器 分 组 之 后 ,为 了 更 好 地 管理 和 配置 ,可 以 使 用 正则 表达 式 来 进行 定义 node, 在 
定义 一 个 node 节点 时 ,要 指定 节点 的 名 字 , 并 使 用 单 引 号 将 名 字 引 起 来 ,然后 在 大 括号 中 指 
定 需要 应 用 的 配置 。 

客户 端 节点 名 字 可 以 是 主机 名 也 可 以 是 客户 端的 正式 域名 ,目前 Puppet 版 本 还 不 能 使 
通配符 来 指定 节点 ,例如 不 能 用 * .jfedu. net, 可 以 使 用 正则 表达 式 , 代 码 如 下 : 
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[root@192-168-149-128-jfedu manifests]# 1s 
modules.pp nodes.pp site.pp 
[root@192-168-149-128-jfedu manifests]# 
trooté192- oc 149-128-jfedu manifests]# cat * 


import ,| 

[root@192-168-149-128-jfedu manifests]# cat /etc/puppet/modules/ntp/man 
class ntp í 

Exec { path =>"/bin:/sbin:/bin/sh:/usr/bin:/usr/sbin:/usr/local/bin:/usi 


exec { 


“auto change crontab ntp config”: 
command =>"sed -i -e yal Be \/5 /2' -e 's/pool.ntp.org/ 


(a) Puppet 


root@192-168-149-130-jTedu -]# 
root@192- 168-149-130-jfedu -]# crontab -1 
0 * /usr/sbin/ntpdate pool.ntp.org »/tmp/ntp.log 2: 
[root@192- 168-149-130-jfedu ~]# 
root@192-168-149-130-jfedu ~]# 
rooté192-168-149-130-jfedu ~]# 
root@192-168-149-130-jfedu -]# 
root@192-168-149-130-jfedu -]# crontab -1 
a7 /usr/sbin/ntpdate 10.1.1.21 >/tmp/ntp.log 2: 
[root@192-168-149-130-jfedu -]# 
[root@192-168-149-130-jfedu -]# crontab -1 
/usr/sbin/ntpdate 10.1.1.21 >/tmp/ntp.log 2: 
[root@192-168-149-130-jfedu -]# 
root@192-168-149-130-jfedu -]# 
Qa 2 G 9 D ad 





(b) Puppet 主 动 通知 客户 端 修改 NTP 同 步 配置 





20-28 Puppet 配置 NTP 


node /^Beijing- IDC- webo\d+\- jfedu\. net { 
include ntp 


} 


以 上 规则 会 匹配 所 有 在 jfedu. net 域 并 且 主 机 名 以 Beijing-IDC 开头 , R web01， 
节点 ,由 此 可 以 进行 批量 服务 器 的 分 组 管理 。 
20.12.3 Puppet 自动 部 署 及 同步 网 站 
企业 生产 环境 100 台 服 务 器 ,所 有 服务 器 要 求 数据 一 致 ,可 以 采用 rsync 同步 ,配置 
rsync 服务 ,客户 端 执行 脚本 命令 即 可 ,同样 可 以 使 用 Puppet 十 shell 脚本 来 同步 ,这 样 


比较 快捷 ,也 可 以 使 用 Puppet rsync 模块 
(1) Puppet 服务 器 





web02, web03,.… ,web100, 












配置 ./etc/puppet/modules/www/manifests/init. pp 代码 如 下 :; 


class www { 

Exec { path =>"/bin:/sbin: /bin/sh:/usr/bin: /usr/sbin: /usr/local/bin:/usr/local/sbin" } 
file { 

"/data/sh/rsync_www_client. sh": 

source =>"puppet://192 - 9 - 117 - 162 - tdt. com/files/www/rsync_www_client. sh", 


owner =>"root", 
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group =>"root", 
mode =>"755", 
} 
file( 
"/etc/rsync. pas": 
source =>"puppet://192 - 9 — 117 - 162 - tdt. com/files/www/rsync. pas", 
owner =>"root", 
group =>"root", 
mode =>"600", 
} 
exec { 
"auto backup www data": 
command =>"mkdir - p /data/backup/'date + %Y%m%d'; nv /data/index /data/backup/www/'date 
+ %Y%m%d' ; /bin/sh /data/sh/rsync www client.sh ", 
user =>"root", 
subscribe => File["/data/sh/rsync www client. sh"], 
refreshonly =>"true", 
) 
) 


(2) fE/etc/puppet/manifests 目录 创建 两 个 文件 ,分别 为 modules. pp 和 nodes. pp. Bi 
块 入 口 文件 以 及 node 配置 段 。 

modules. pp 配置 文件 内 容 如 下 : 

import "www" 

nodes. pp 配置 文件 内 容 如 下 : 


node /^Beijing- IDC- web0\d + \ - jfedu\. net { 
include www 


} 
(3) 在 site. pp 中 加 载 导入 modules. pp 和 nodes. pp 名 称 „site. pp 代码 如 下 : 


import "modules. pp" 
import "nodes. pp" 


Puppet master 端 批量 执行 通知 客户 端 来 同步 配置 ,命令 如 下 : 


puppet kick -d -- host 'cat hosts. txt' 


(4) cat hosts.txt 内 容 为 需要 同步 的 客户 端的 主机 名 ,内容 如 下 : 


Beijing- IDC - web01 - jfedu. net 
Beijing - IDC- web02 - jfedu. net 
Beijing - IDC- web03 - jfedu. net 
Beijing- IDC- web04 — jfedu. net 
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随 着 互联 网 IT 运 维 飞速 发 展 ,目前 市 场 上 涌现 了 大 量 的 自动 化 配置 维护 工具 ,例如 
PSSH,Puppet,Chef,SaltStack, Ansible 等 。 目 前 互联 网 企业 使 用 最 多 的 三 款 自 动 化 配置 
工具 为 Puppet、Ansible 和 SaltStack。 自 动 配置 工具 存在 的 初 襄 就 是 为 了 更 方便 \、 快 捷 地 进 
行 配置 管理 , 它 易 于 安装 和 使 用 ,语法 也 非常 简单 易学 。 

本 章 向 读者 介绍 Ansible 工作 原理 、Ansible 安装 配置 ,生产 环境 模块 讲解 、Ansible £ 
业 场 景 案例 ,PlayBook 剧本 实战 及 Ansible 性 能 调 优等 内 容 。 


21.1 自动 化 运 维 工 具 简 介 


曾 有 媒体 报道 ,Facebook 一 个 运 维 人 员 管 理 上 万 台 服 务 器 ,如 果 使 用 手工 的 方法 去 维 
护 是 很 难 做 到 的 ,基于 自动 化 工具 就 可 以 轻松 地 实现 管理 上 万 台 、 甚 至 十 万 台 服 务 器 。 
下 面 将 介绍 YT 运 维 主流 自动 化 管理 工具 Puppet、SaltStack、Ansible 各 自 优 缺 点 。 


21.1.1 Puppet 自动 运 维 工具 特点 


Puppet 是 早期 的 Linux 自动 化 运 维 工 具 , 是 一 种 Linux, UNIX, Windows 平台 的 集中 
配置 管理 系统 ， ar ANDE T TEE 可 以 批量 管理 远程 服务 器 ,模块 丰富 ,配置 复 
杂 , 基 于 Ruby 语言 。 最 典型 的 C/S 模式 ,需要 安装 服务 端 与 客户 端 

Puppet 采 用 PE O d i t SERS R 
周期 地 (默认 半 个 小 时 ) 向 服务 器 发 送 请 求 ,获得 其 最 新 的 配置 信息 ,保证 和 该 配置 信息 
同步 。 

每 个 Puppet 客户 端 每 半 小 时 (可 以 设置 ) 连 接 一 次 服务 器 端 ,下 载 最 新 的 配置 文件 ,并 
且 严 格 按照 配置 文件 来 配置 客户 端 。 配 置 完成 以 后 ,Puppet 客户 端 可 以 反馈 给 服务 器 端 一 
个 消息 ,如 果 出 错 也 会 给 服务 器 端 反馈 一 个 消息 。 

Puppet 适用 于 服务 器 管理 的 整个 过 程 ,比如 初始 安装 .配置 .更 新 以 及 系统 下 线 。 
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21.1.2 SaltStack 自动 运 维 工具 特点 


SaltStack 与 Puppet 均 是 C/S 模式 , 需 安装 服务 端 与 客户 端 ,基于 Python 编写 ,加 入 
MQ 消息 同步 ,可 以 使 执行 命令 和 执行 结果 高 效 返回 ,但 其 执行 过 程 需 等 待 客户 端 全 部 返 
回 , 如 果 客 户 端 未 及 时 返回 或 未 响应 的 话 , 可 能 会 导致 部 分 机 器 没有 执行 结果 。 


21.1.3 Ansible 自动 运 维 工具 特点 


Ansible 与 SaltStack 均 是 基于 Python 语言 开发 ,Ansible 只 需要 在 一 台 普 通 的 服务 器 
上 运行 即 可 ,不 需要 在 客户 端 服务 器 上 安装 客户 端 。 因 为 Ansible 是 基于 SSH 远程 管理 ， 
而 Linux 服务 器 大 都 离 不 开 SSH ,所 以 Ansible 不 需要 为 配置 工作 添加 额外 的 支持 。 

Ansible 安装 使 用 非常 简单 ,而 且 基 于 上 千 个 插件 和 模块 ,实现 各 种 软件 .平台 ,版 本 的 
管理 ,支持 虚拟 容器 多 层级 的 部 署 。 很 多 读者 在 使 用 Ansible 工具 时 ,认为 Ansible 比 
SaltStatck 执行 效率 慢 ,其 实 不 是 软件 本 身 慢 , 是 由 于 SSH 服务 慢 ,可 以 优化 SSH 连接 速度 
及 使 用 Ansible 加 速 模块 ,满足 企业 上 万 台 服 务 器 的 维护 和 管理 。 


21.2 Ansible 运 维 工 具 原 理 


Ansible 是 一 款 极 为 灵活 的 开源 工具 套件 ,能 够 大 大 简化 UNIX 管理 员 的 自动 化 配置 
管理 与 流程 控制 方式 。 它 利用 推送 方式 对 客户 系统 加 以 配置 ,这 样 所 有 工作 都 可 在 主 服务 
器 端 完 成 。 其 命令 行 机 制 同 样 非常 强大 , 允许 大 家 利用 商业 许可 Web UI 实现 授权 管理 与 
配置 ,可 以 通过 命令 行 或 者 GUI 来 使 用 Ansible。 和 运行 Ansible 的 服务 器 这 里 俗称 “管理 节 
点 ”, 通 过 Ansible 进行 管理 的 服务 器 俗称 * 受 控 节 点 ”。 权 威 媒 体 报道 ,Ansible 于 2015 年 
被 Red Hat 公司 以 1. 5 亿美 元 收购 ,新 版 Red Hat 内 置 Ansible 软件 。 

本 书 以 Ansible 为 案例 ,基于 Ansible 构建 企业 自动 化 运 维 平台 ,实现 大 规模 服务 器 的 
快速 管理 和 部 署 。Ansible 将 平常 复杂 的 配置 工作 变 得 简单 , 变 得 更 加 标准 化 ,也 就 更 容易 
控制 。 

Ansible 自动 运 维 管理 工具 优点 如 下 : 

a 轻 量 级 ,更 新 时 只 需要 在 操作 机 上 进行 一 次 更 新 即 可 ; 

a 采用 SSH 协议 ; 

O 不 需要 客户 端 安装 agent; 

a 批量 任务 执行 可 以 写成 脚本 ,而 且 不 用 分 发 到 远程 客户 端 ; 

a 使 用 Python 编写 ,维护 更 简单 ; 

a 支持 sudo 普通 用 户 命令 ; 

a 去 中 心 化 管理 。 

Ansible 自动 运 维 管 理工 具 工 作 原理 拓扑 如 图 21-1 所 示 。 
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图 21-1 Ansible 工作 原理 图 


21.3 Ansible 管理 工具 安装 配置 


Ansible 可 以 工作 在 Linux, BSD, Mac OS X 等 平台 ,对 Python 环境 的 版 本 最 低 要 求 为 
Python 2. 6 以上, 如果 所 统 Python 软件 版 本 为 2.4, 需 要 升级 方 可 使 用 Ansible 工具 。 

Red Hat, CentOS 二 可 以 直接 基于 YUM 工具 自动 安装 Ansible, CentOS 6. X 
或 者 CentOS 7. X 安装 前 , 需 先 安装 epel 扩展 源 ,代码 如 下 : 








过 


rpm - Uvh http://mirrors. ustc. edu. cn/fedora/epel/6/x86 64/epel- release - 6 - 8. noarch. rpm 
yum install epel- release - y 


yum install ansible -y 
Ansible 工具 默认 主 目录 为 /etc/ansible/ ,其 中 hosts 文件 为 被 管理 机 IP 或 者 主机 名 列 


表 ,ansible. cfg 为 ansible 主 配 置 文件 ,roles 为 角色 或 者 插件 路 径 ,默认 该 目录 为 空 ,如 
图 21-2 所 示 。 





7] 21-2 Ansible 主 目录 信息 


图 
Ansible 远程 批量 管理 ,其 中 执行 命令 是 通过 Ad-Hoc 来 完成 ,也 即 点 对 点 执行 命令 ,能 
够 快速 执行 ,而 且 不 需要 保存 执行 的 命令 。 默 认 hosts 文件 配置 主机 列表 ,可 以 配置 分 组 ， 
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可 以 定义 各 种 IP 及 规则 ,hosts 列表 默认 配置 如 图 21-3 所 示 。 


green. example. com 

blue.example.com 
68.100.1 
2:168:100.10 


[webservers] 
alpha.example.org 
beta. example org 


"dbservers' group 








Ansible 基于 多 模块 管理 





用 的 Ansible 工具 管理 模块 包括 : command, shell, script, 


yum, copy, file, async, docker, cron, mysql. user, ping, sysctl, user, acl, add_ host, easy _ 


install ,haproxy 等 。 可 以 使 用 ansible-doc -l| more 查看 Ansible 支持 的 模块 ,也 可 以 查看 
费 块 的 帮助 文档 ,用 法 为 ansible-doc module_name, 如 图 21-4 所 示 








M(docker 
is manda: 


jd capabilitie he con r. Requires 


[Default: Fal 





21.4 Ansible 工具 参数 详解 





基于 Ansible 批量 管理 , 需 将 被 管理 的 服务 器 IP. 列表 添加 至 /etc/ansible/hosts 文件 
中 ,如 图 21-5 添加 4 台 被 管理 端 IP 地 址 ,分 成 Web 和 DB 两 组 ,本 机 也 可 以 是 被 管理 机 。 





This is the default ansible ‘hosts’ file. 
It should live in /etc/ansible/hosts 


- Comments begin with the character 
Blank lines are ignored 
Groups of hosts are delimited by [header] elements 
You can enter hostnames or ip addresses 


- A hostname/ip can be a member of multiple groups 





图 21-5 Ansible hosts 主机 列表 
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Ansible 自动 运 维 工具 管理 客户 端 案例 操作 ,由 于 Ansible 管理 远程 服务 器 基于 SSH. 
在 登录 远程 服务 器 执行 命令 时 需要 远程 服务 器 的 用 户 名 和 密码 ,也 可 以 加 入 上 参数 手 动 输 
入 密码 或 者 基于 ssh-keygen 生成 免 秘 钥 。 

Ansible 自动 化 批量 管理 工具 主要 参数 详解 如 下 : 

a -v,-verbose: 打印 详细 模式 。 
-i PATH,-inventory=PATH; 指定 host 文件 路 径 。 
-f NUM,-forks= NUM; 指定 fork 开启 同步 进程 的 个 数 ,默认 为 5。 
a -m NAME .-module-name— NAME: 指定 module 名 称 , 默 认 模 块 为 command, 
a -a MODULE_ARGS: module 模块 的 参数 或 者 命令 
a -k.-ask-pass: 输入 远程 被 管理 端 密码 。 
a -sudo; 基于 sudo 用 户 执行 。 
a -K.-ask-sudo-pass; 提示 输入 sudo 密码 与 sudo 一 起 使 用 
a -u USERNAME.-user— USERNAME; 指定 执行 用 户 。 
a -C,--check: 测试 执行 过 程 , 不 改变 真实 内 容 , 相 当 于 预演 
T TIMEOUT: 执行 命令 超时 时 间 , 默 认为 10s 
a --version; 查看 Ansible 软件 版 本 信息 








D 


D 














D 


21.5 Ansible ping 模块 实战 


Ansible 最 基础 的 模块 为 ping 模块 ,主要 用 于 判断 远程 客户 端 是 否 在 线 , 用 于 ping 本 
身 服务 器 ,返回 值 为 changed .ping 

Ansible ping 模块 企业 常 ore 56 如 下 : 

使 用 Ansible ping 服务 器 状态 ,代码 如 下 ,结果 如 图 21-6 所 示 


ansible -k all - m ping 





图 21-6 Ansible ping 服务 器 状态 
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21.6 Ansible command 模块 实战 


Ansible command 模块 为 Ansible 默认 模块 ,主要 用 于 执行 Linux 基础 命令 ,可 以 执行 
远程 服务 器 命令 执行 、 任 务 执行 等 操作 。command 模块 使 用 详解 如 下 : 

a Chdir: 执行 命令 前 ,切换 到 目录 

a Creates; 当 该 文件 存在 时 , 则 不 执行 该 步骤 

Q Executable: 换 用 shell 环境 执行 命令 

a Free form; 需要 执行 的 脚本 

a Removes: 当 该 文件 不 存在 时 , 则 不 执行 该 # 

Q Warn; 若 在 ansible. cfg 中 存在 告警 ,如 果 设 

Ansible command 模块 企业 常用 案例 如 下 

(1) Ansible command 模块 远程 执行 date 命令 ,代码 如 下 ,执行 结果 如 图 21-7 所 示 o 








定 了 false, 不 会 警告 此 行 


ansible -k - i /etc/ansible/hosts all -m command - a "date" 













图 21-7 Ansible command date 命令 执行 结果 
(2) Ansible command 模块 远程 执行 ping 命令 ,代码 如 下 ,执行 结果 如 图 21-8 所 示 o 


ansible -k all —m command -a "ping -c 1 www. baidu. com" 





图 21-8 Ansible command ping 命令 执行 结果 
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(3) Ansible hosts 正则 模式 远程 执行 df -h, 代 码 如 下 ,执行 结果 如 图 21-9 所 示 。 


ansible 一 k 192.168.149.13* -—m command -a "df - h" 





图 21-9 Ansible command df -h 命令 执行 结果 


21.7 Ansible copy 模块 实战 


Ansible copy 模块 主要 用 于 文件 或 者 目录 复制 ,支持 文件 .目录 、 权 限 、 用 户 组 功能 ， 
copy 模块 使 用 详解 如 下 : 


Q sre: Ansible X 





文件 或 者 目录 件 夹 不 复制 
a content: 用 来 替代 src, 用 于 将 指定 文件 的 内 容 复制 到 远程 文件 内 。 
dest; 客户 端 目标 目录 或 者 文件 ,需要 绝对 路 径 
backup: 复制 之 前 , 先 备份 远程 节点 上 的 原始 文件 
directory mode; 用 于 复制 文件 夹 .新建 的 文件 会 被 复制 ,而 老 旧 的 不 会 被 复制 。 
follow: 支持 link 文件 复制 
force: 覆盖 远程 主机 不 一 致 的 内 容 
group: 设 定 远程 主机 文件 夹 的 组 名 
远程 主机 文件 及 文件 夹 的 权限 
owner; 设 定 远程 主机 文件 夹 的 用 户 名 
Ansible copy 模块 企业 常用 案例 如 下 
(1) Ansible copy 模块 操作 ,src 表示 源 文件 ,dest 表示 目标 目录 或 者 文件 ,owner 指定 
拥有 者 ,代码 如 下 ,执行 结果 如 图 21-10 所 示 











mode: 指 


D oO Ü @ 8 0 Ü Ü 


> 


ansible -k all -m copy - a 'src = /etc/passwd dest = /tmp/ mode = 755 owner = root! 


(2) Ansible copy 模块 操作 ,content KIR XIEN X. dest 表示 目标 文件 ,owner 指定 拥 
有 者 ,代码 如 下 ,执行 结果 如 图 21-11 所 示 。 


ansible -k all -m copy - a 'content = "Hello World" dest = /tmp/jfedu. txt mode = 755 owner = 
root' 
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图 21-10 Ansible copy 复制 文件 





图 21-11 Ansible copy 追加 内 容 
(3) Ansible copy 模块 操作 content 表示 文件 内 容 ,dest 表示 目标 文件 ,owner 指定 拥 
有 者 ,backup 王 yes 开启 备份 ,代码 如 下 ,执行 结果 如 图 21-12 所 示 


ansible -k all -m copy - a 'content = "Hello World" dest = /tmp/jfedu. txt backup = yes mode = 


755 owner = root ' 


log httpd-2.2.31.tar.gz jfedu.txt jfedu 


jfedu.txt 
1 jfedu.tx 





图 21-12 Ansible copy 客户 端 备份 结果 


21.8 Ansible YUM 模块 实战 


Ansible YUM 模块 主要 用 于 软件 的 
YUM 模块 使 用 详解 如 下 : 





BFR MM. SCHL rpm 软件 包 的 管理 ， 
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conf file: 设 定 远程 YUM 执行 时 所 依赖 的 YUM 配置 文件 。 
disable_gpg_check: 安装 软件 包 之 前 是 否 检 查 gpg key。 
name: 需要 安装 的 软件 名 称 , 支 持 软 件 组 安装 

装 软件 前 更 
a enablerepo: 指定 repo WA FR. 

a skip broken: 跳 过 异常 软件 节点 。 

Q state; 软件 包 状态 ,包括 installed present \latest, absent removed, 
Ansible YUM 模块 企业 常用 案例 如 下 
(1) Ansible YUM 模块 操作 ,name KIR f 
安装 软件 ARE 





B nd Sg 


update cache: 安 











装 的 软件 名 称 ,state 表示 状态 ,常见 state= 
3 如 下 ,执行 结果 如 图 21-13 所 示 





installed 表示 


ansible all -k -m yum -a "name = sysstat, screen state = installed" 





图 21-13 Ansible YUM 安装 软件 包 


(2) Ansible YUM 模块 操作 装 的 软件 名 称 ,state 表示 状态 ,常见 state 
absent 表示 印 载 软件 ,代码 如 下 ,执行 结果 如 图 21-14 所 示 





:.name XR 


ansible all -k -m yum - a "nane = sysstat, screen state = absent" 





图 21-14. Ansible YUM £g Zt fft 


(3) Ansible YUM 模块 操作 ,name 表示 需 安 装 的 软件 名 称 ,state 表示 状态 ,常见 state = 
installed 表示 安装 软件 ,disable_gpg_check = no 表示 不 检查 key, 代 码 如 下 ,执行 结果 如 
图 21-15 所 示 。 
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ansible 192. 168.149.129 -k -m yum —a "name = sysstat, screen state = installed disable gpg_ 
check = no" 





图 21-15 Ansible YUM 安装 软件 包 , 不 检查 key 


21.9 Ansible file 模块 实战 


Ansible file 模块 主要 用 于 对 文件 的 创建 删除、 修改. 权限 .属性 的 维护 和 管理 ,file 模 
块 使 用 详解 如 下 : 


a src; Ansibl 





源 文件 或 者 目录 

follow: 支持 link 文件 复制 

force: 覆盖 远程 主机 不 一 致 的 内 容 

group; 设 定 远程 主机 文件 夹 的 组 名 

mode; 指定 远程 主机 文件 及 文件 夹 的 权限 

owner; 设 定 远程 主机 文件 夹 的 用 户 名 。 

path: 目标 路 径 , 也 可 以 用 dest. name 代替 

state; 状态 包括 file,link、directory、hard,touch absent 
attributes; 文件 或 者 目录 特殊 属性 
nsible file 模块 企业 常用 案例 如 下 

(1) Ansible file 模块 操作 ,path 表示 目录 的 名 称 和 路 径 , state = directory 表示 创建 目 

录 , 代 码 如 下 ,执行 结果 如 图 21-16 所 示 





D D D B DO D D 


> 


ansible -k 192.168. » -m file -a "path= /tmp/'date + &F' state = directory mode = 755" 





图 21-16  Ansible file 创建 目录 
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(2) Ansible file 模块 操作 ,path 表示 目录 的 名 称 和 路 径 ,state 一 touch 表示 创建 文件 ， 
代码 如 下 ,执行 结果 如 图 21-17 所 示 。 


ansible -k 192.168. * -m file - a "path= /tmp/jfedu. txt state = touch mode = 755" 





fA 21-17  Ansible file 创建 文件 


21.10 Ansible user 模块 实战 


Ansible user 模块 主要 用 于 操作 系统 用 户 、 组 权限、 密码 等 操作 ,user 模块 使 用 详解 









如 下 : 
a system; 默认 创建 为 普通 用 户 ,为 yes 则 创建 系统 用 户 
a append; 添加 一 个 新 的 组 
a comment; 新 增 描述 信息 
a createhome: 给 用 户 创建 家 目录 
a force: 强制 删除 用 户 
Q group: 创建 用 户主 组 
a groups: 将 用 户 加 入 组 或 者 附属 组 添加 。 
Q home: 指定 用 户 的 家 目录 
o name: 表示 状态 ,是 否 create, remove, modify 
Q password: 指定 用 户 的 密码 ,此 处 为 加 密 密 码 
a remove; 删除 用 户 
a shell; 设置 用 户 的 shell 登录 环境 
a uid; 设置 用 户 ID 
O update_password: 修改 用 户 密 码 
a state: 用 户 状态 ,默认 为 present, 表 示 新 建 用 户 


Ansible user 模块 企业 常用 案例 如 下 。 
(1) Ansible user 模块 操作 ,name 表示 用 户 名 称 ,home 表示 其 家 目录 ,代码 如 下 ,执行 
结果 如 图 21-18 所 示 。 
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ansible -k 192.168.149. x -m user -a  "name- jfedu home = /tmp/" 





图 21-18  Ansible user 创建 新 用 户 


(2) Ansible user 模块 操作 ,name 表示 用 户 名 称 ,home 表示 家 目录 并 且 指 定 其 shell. 
代码 如 下 ,执行 结果 如 图 21-19 所 示 


ansible -k 192.168.149. x m user a  "name- jfedu home = /tmp/ shell = /sbin/ 
nologin" 





图 21-19 Ansible user 指定 shell 环境 


(3) Ansible user 模块 操作 ,name 表示 用 户 名 称 ,state 王 absent 表示 删除 用 户 , 代 码 如 
F ,执行 结果 如 图 21-20 所 示 


ansible -k 192.168.149. x -m user = "name = jfedu state = absent force = yes" 





图 21-20 Ansible user 删 除 用 户 
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21.11 Ansible cron 模块 实战 


Ansible cron 模块 主要 用 于 添加 、 删 除 、 更 新 操作 系统 crontab 任务 计划 ,cron 模块 使 用 
详解 如 下 : 

ü name: 任务 计划 名 称 

a cron file; 替换 客户 端 该 用 户 的 任务 计划 的 文件 。 


a minute; 分 (0-59, * , * /2) 








a hour; 时 (0-23, * ,* /2) 

9 day; H(1-31, * , * /2), 

a month; H(1-12. * ,* /2), 

Q weekday: Jä (0-6 sk 1-7. * ) 

a job: 任何 计划 执行 的 命令 ,state 要 等 于 present 
Q backup: 是 否 备份 之 前 的 任务 计划 

user: 新 建 任务 计划 的 用 户 

Q state: 指定 任务 计划 present absent 

Ansible cron 模块 企业 常用 案例 如 下 


D 





(1) Ansible cron 模块 操作 ,基于 cron 模块 ,创建 crontab 任务 计划 ,代码 如 下 ,执行 结 
果 如 图 21-21 所 示 。 
ansible -k all -m cron -a "minute = 0 hour = 0 day- * month= * weekday = * name = 'Ntpdate 


server for sync time' job= '/usr/sbin/ntpdate 139.224.227.121'" 





图 21-21. Ansible cron 添加 任务 计划 


(2) Ansible cron 模块 操作 ,基于 cron 模块 ,备份 crontab 任务 计划 backup yes 表示 
开启 备份 ,备份 文件 存放 于 客户 端 /tmp/ ,代码 如 下 ,执行 结果 如 图 21-22 Bron 。 


ansible -k all -m cron -a "minute- 0 hour- 0 day- * month- x* weekday = x name= 'Ntpdate 


server for sync time' backup = yes job = '/usr/sbin/ntpdate pool. ntp. org' " 


(3) Ansible cron 模块 操作 ,基于 cron 模块 .删除 crontab 任务 计划 ,代码 如 下 ,执行 结 








图 21-22 Ansible cron 创建 任务 计划 


果 如 图 21-23 所 示 


ansible 


kall -m cron - a "name = 'Ntpdate server for sync time’ state = absent" 





图 21-23 Ansible cron 删除 任务 计划 


21.12 Ansible synchronize 模块 实战 


Ansible synchronize 模块 主要 用 于 目录 ,文件 同步 ,主要 基于 rsync 


和 文件 ,synchronize 模块 使 用 详解 如 下 : 


Q compress: 


a 


a 
a 
a 
a 
a 
a 
a 
a 


archive: 是 否 采用 归档 模式 同步 ,保证 源 和 目标 文件 属性 一 致 。 


: 开启 压缩 ,默认 为 开启 





checksum: 是 否 效 验 
dirs: 以 非 递 归 的 方式 传输 目录 
links: 同步 链接 文件 


recursive; 是 否 递归 yes/no 


rsync_opts: 使 用 rsync 的 参数 。 


copy links: 同步 的 时 候 是 否 复制 链接 。 


delete: 删除 源 


SIC: 





中 没有 而 目标 存在 的 文件 。 
源 目录 及 文件 


命令 工具 同步 目录 
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a dest: 目标 目录 及 文件 。 

a dest port; 目标 接受 的 端口 。 

a rsync path: 服务 的 路 径 ,指定 rsync 命令 来 在 远程 服务 器 上 运行 。 

O rsync timeout; 指定 rsync 操作 的 IP 超时 时 间 。 

Q set remote user; 设置 远程 用 户 名 。 

a --exclude=. log: 忽略 同步 . log 结尾 的 文件 。 

Q mode: 同步 的 模式 ,rsync 同步 的 方式 push, pull ,默认 都 是 推送 push 


Ansible synchronize 模块 企业 常用 案例 如 下 
(1) Ansible synchronize 模块 操作 ,src 为 源 目录 ,dest 为 目标 目录 ,代码 如 下 ,执行 结 
果 如 图 21-24 所 示 。 


ansible -k all -m synchronize - a 'src = /tmp/ dest = /tmp/' 





图 21-24 Ansible 目录 同步 
BUR 
示 开 启 压缩 ,delete 二 yes 表示 数据 一 致 ,rsync_opts 为 同步 
代码 如 下 ,执行 结果 如 图 21-25 所 示 





(2) Ansible synchroniz ,src 为 源 目 录 ,dest H H R H X compress = yes X 


参数 ,--exclude 表示 排除 文件 ， 


e 












ansible -k all — m synchronize - a 'src = /tmp/ dest = /tmp/ compress = yes delete = yes rsync | 
opts = -- no- motd, ~~ exclude = .txt' 
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21.13 Ansible shell 模块 实战 


Ansible shell 模块 主要 用 于 远程 客户 端 上 执行 各 种 shell 命令 或 者 运行 脚本 ,远程 执行 
命令 通过 /bin/sh 环境 来 执行 ,支持 比 command 更 多 的 指令 ,shell 模块 使 用 详解 如 下 : 

a Chdir: 执行 命令 前 ,切换 到 目录 

a Creates; 当 该 文件 存在 时 , 则 不 执行 该 步骤 。 
Executable: 换 用 shell 环境 执行 命令 
Free form; 需要 执行 的 脚本 

a Removes; 当 该 文件 不 存在 时 , 则 不 执行 该 步骤 

a Warn; 如 果 在 ansible. cfg 中 存在 告警 ,如 果 设 定 了 False, 不 会 警告 此 行 。 

Ansible shell 模块 企业 常用 案例 如 下 

(1) Ansible shell 模块 操作 ,-m shell 指定 模块 为 shell, 远 程 执行 shell 脚本 ,远程 执行 
脚本 也 可 采用 script 模块 。 并 把 执行 结果 追加 至 客户 端 服 务 器 /tmpyvar. log 文件 ,代码 如 
F ,执行 结果 如 图 21-26 Bros 


D 


D 


ansible -k all -m shell - a "/bin/sh /tmp/variables. sh >>/tmp/var. log" 


sh]# ansible -k all -m shell -a "/bin/sh 





图 21-26 Ansible shell 远程 执行 脚本 
(2) Ansible shell 模块 操作 ,远程 执行 创建 目录 命令 ,执行 之 前 切换 在 /tmp 目录 ,屏蔽 
SEE f. ,代码 如 下 ,执行 结果 如 图 21-27 所 示 
ansible -k all -m shell -a "mkdir — p 'date + %F' chdir = /tmp/ state = directory warn = no" 


[root@localhost sh]# ansible -k all -m shell -a "mkdir 
n 
p d: 





图 21-27 Ansible shell 远程 执行 脚本 
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(3) Ansible shell 模块 操作 -m shell 指定 模块 为 shell, 远 程 客户 端 查看 http 进程 是 否 
启动 ,代码 如 下 ,执行 结果 如 图 21-28 所 示 。 


ansible -k all -m shell -a "ps - ef |grep http" 


ansible -k all -m shell -a 





图 21-28  Ansible shell 远程 查看 进程 


(4) Ansible shell 模块 操作 ,-m shell 指定 模块 为 shell ,远程 客户 端 查看 crontab 任务 
计划 ,代码 如 下 ,执行 结果 如 图 21-29 所 示 





ansible k all -m shell - a "crontab - 1" 





图 21-29 Ansible shell 远程 查看 任务 计划 


21.24 Ansible service 模块 实战 


Ansible service 模块 主要 用 于 远程 客户 端 各 种 服务 管理 ,包括 启动 ,停止 .重启 .重新 加 
载 等 ,service 模块 使 用 详解 如 下 : 
enabled: 是 否 开机 启动 服务 
name: 服务 名 称 
runlevel: 服务 启动 级 别 
arguments: 服务 命令 行 参数 传递 
state; 服务 操作 状态 ,状态 包括 started stopped, restarted, reloaded, 
Ansible service 模块 企业 常用 案例 如 下 
(D Ansible service 模块 操作 ,远程 重启 httpd 服务 ,代码 如 下 ,执行 结果 如 图 21-30 


oOo | 
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所 示 。 


ansible -k all -m service - a "name = httpd state = restarted" 


h]# ansible -k all -m service - 





图 21-30 Ansible service 重启 httpd 服务 


(2) Ansible service 模块 操作 ,远程 重启 网 卡 服务 ,指定 参数 echo ,代码 如 下 ,执行 结果 
如 图 21-31 所 示 


ansible -k all -m service -a "name- network args = eth0 state = restarted" 





Kd 21-31  Ansible service 重启 network 服务 


(3) Ansible service 模块 操作 ,远程 开机 启动 nfs 服务 ,设置 
下 ,执行 结果 如 图 21-32 所 示 。 





级 别 自动 启动 ,代码 如 


ansible -k all -m service - a "name = nfs enabled = yes runlevel = 3,5" 


alhost sh]# ansible -k all 
vord 





图 21-32 Ansible service 开机 启动 nfs 服务 
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21.15 Ansible PlayBook 应 用 


如 上 使 用 Ad-hoc 方式 点 对 点 命令 执行 ,可 以 管理 远程 主机 ,如 果 服 务 器 数量 很 多 , 配 
置信 息 比 较 多 ,还 可 以 利用 Ansible PlayBook 编写 剧本 ,从 而 以 更 加 简便 的 方式 实现 任务 
处 理 的 自动 化 与 流程 化 。 

PlayBook 是 由 一 个 或 多 个 “play” 组 成 的 列表 ,play 的 主要 功能 是 为 Ansible 中 的 task 
定义 好 的 角色 ,指定 剧本 对 应 的 服务 器 组 。 

从 根本 上 说 ,task 是 一 个 任务 ,task 调用 Ansible 各 种 模块 module, 将 多 个 paly 组 织 在 
一 个 PlayBook 剧本 中 ,然后 组 成 一 个 非常 完整 的 流程 控制 集合 。 

基于 Ansible PlayBook 还 可 以 收集 命令 、 创 建 任务 集 , 这 样 能 够 大 大 降低 管理 工作 的 
复杂 程度 ,PlayBook 采用 Y AML 语法 结构 ,易于 阅读 ,方便 配置 。 

YAML(yet another markup language) 是 一 种 直观 的 能 够 被 电脑 识别 的 数据 序列 化 格 
式 ,是 一 个 容易 阅读 ,容易 和 脚本 语言 交互 ,用 来 表达 资料 序列 的 编程 语言 。 它 参考 了 其 他 
多 种 语言 ,包括 XML,C if A Python, Perl 以 及 电子 邮件 格式 RFC2822, 是 类 似 于 标准 通 
用 标记 语言 的 子 集 XML 的 数据 描述 语言 ,但 语法 比 XML 简单 很 多 。 

YAML 使 用 空白 字符 和 分 行 来 分 隔 资 料 , 适 合用 grep、Python、Perl、Ruby 操作 。 

(OD YAML 语言 特性 如 下 : 

9 可 读 性 强 ; 

和 脚本 语言 的 交互 性 好 ; 

使 用 实现 语言 的 数据 类 型 ; 

一 致 的 信息 模型 ; 

易于 实现 ; 

可 以 基于 流 来 处 理 ; 

可 扩展 性 强 。 

(2) PlayBooks 组 件 包括 内 容 如 下 : 

Q target: 定义 PlayBook 的 远程 主机 组 。 

a variable; 定义 PlayBook 使 用 的 变量 。 

a task; 定义 远程 主机 上 执行 的 任务 列表 。 

o handler; 定义 task 执行 完成 以 后 需要 调用 的 任务 ,例如 配置 文件 被 改动 , 则 启动 
handler 任务 重启 相关 联 的 服务 。 

(3) target 常用 参数 详解 如 下 : 

a hosts: 定义 远程 主机 组 。 

a user: 执行 该 任务 的 用 户 。 

a sudo: 设置 为 yes 的 时 候 , 执 行 任务 的 时 候 使 用 root 权限 。 
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HP. 

a connection; 默认 基于 SSH 连接 客户 端 。 

a gather_facks: 获取 远程 主机 facts 基础 信息 。 

(4) variable 常用 参数 详解 如 下 : 

O vars: 定义 格式 ,变量 名 :变量 值 。 

a vars files: 指定 变量 文件 。 

a vars prompt; 用 户 交互 模式 自 定 义 变量 。 

o setup: 模块 取 远 程 主机 的 值 。 

(5) task 常用 参数 详解 如 下 

O name: 任务 显示 名 称 也 即 屏幕 显示 信息 。 

a action: 定义 执行 的 动作 

a copy: 复制 本 地 文件 到 远程 主机 

2 template; 复制 本 地 文件 到 远程 主机 ,可 以 引用 本 地 变量 
a service: 定义 服务 的 状态 
Ansible PlayBook 案例 演示 如 下 

(1) 远程 主机 安装 Nginx Web 服务 ,PlayBook 代码 如 下 ,执行 结果 如 图 21-33 所 示 。 


Q sudo_user: 指定 sudo 普 








hosts: all 
remote user: root 
tasks: 
- name: Jfedu Pcre- devel and Zlib LIB Install 
yum: name = pcre - devel, pcre, zlib- devel state = installed 
- name: Jfedu Nginx Web Server Install Process. 
shell: cd /tmp; rm - rf nginx- 1. 12. 0. tar. gz; wget http://nginx. org/download/nginx — 1. 
12.0.tar.gz; tar x 
zf nginx- 1.12.0. tar. gz; cd nginx - 1.12.0; ./configure -- prefix = /usr/local/nginx; make; 
make install 


localho ansible-playbook nginx_install.yam] 


1 Nginx Web S 
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(2) 检测 远程 主机 Nginx 目录 是 否 存在 .不 存在 则 安装 Nginx Web 服务 .安装 完 并 启 
动 Nginx.PlayBook 代码 如 下 ,执行 结果 如 图 21-34 所 示 。 





- hosts: all 
remote user: root 
tasks: 
— name: Nginx server Install 2017 
file: path= /usr/local/nginx/ state = directory 
notify: 
- nginx install 
- nginx start 
handlers: 
- name: nginx install 
shell: cd /tmp; rm - rf nginx- 1.12.0. tar.gz; wget http: //nginx. org/download/nginx — 
1.12.0.tar.gz; tar xzf nginx- 1.12.0 
.tar.gz; cd nginx- 1.12.0; . /configure prefix- /usr/local/nginx; make; make install 
name: nginx start 


shell: /usr/local/nginx/sbin/nginx 





图 21-34 Ansible PlayBook Nginx 触发 安装 


(3) 检测 远程 主机 内 核 参 数 配置 文件 是 否 更 新 ,如 果 更 新 则 执行 命令 sysctl -p 使 内 核 
参数 生效 ,PlayBook 代码 如 下 ,执行 结果 如 图 21-35 所 示 





— hosts: all 
remote user: root 
tasks: 
— name: Linux kernel config 2017 
copy: src - /data/sh/sysctl. conf dest - /etc/ 
notify: 
— source sysctl 
handlers: 


- name: source sysctl 
shell: sysctl -p 


(4) 基于 列表 items 多 个 值 创建 用 户 . 通 





义 列表 变量 ,with_items 选项 传人 变 





过 
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图 21-35 Ansible PlayBook 内 核 参 数 优化 
量 的 值 ,代码 如 下 ,执行 结果 如 图 21-36 所 示 。 


hosts: all 
remote user: root 
tasks: 
name: Linux system Add User list. 
user: name = (( item }} state = present 
with items: 
jfedul 
jfedu2 
jfedu3 
jfedu4 


ar/lib/nfs:/sbin/no 





(b) Ansible PlayBook item 变 量 创建 用 户 (2) 


图 21-36 Ansible PlayBook item 变量 创建 用 户 
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(5) Ansible PlayBook 可 以 自 定 义 template 模板 J. ,模板 文件 主要 用 于 服务 器 需求 
不 一 致 .需要 独立 定义 的 情况 。 例 如 两 台 服务 器 安装 了 Nginx, 安 装 完毕 之 后 将 服务 器 A 
的 HTTP 端口 改 成 80 ,服务 器 B 的 HT TP 端口 改 成 81 ,基于 tempalte 模块 可 以 轻松 实现 ， 
方法 步骤 如 下 。 

a Ansible hosts 文件 指定 不 同 服务 器 不 同 httpd_port 端口 ,代码 如 下 : 






[web] 
192.168.149.128 httpd port = 80 
192.168.149.129 httpd port = 81 


o Ansible 创建 nginx. conf jinja2 模板 文件 , cp nginx. conf nginx. conf. j2, 并 修改 
listen 80 Jy listen ( (httpd port) ) ,Nginx 其 他 配置 项 不 变 ,代码 如 下 : 


cp nginx. conf nginx. conf. j2 
listen {{httpd_port}}; 


a Ansible PlayBook 剧本 yaml 文件 创建 ,代码 如 下 : 


hosts: all 
remote user: root 
tasks: 
name: Nginx server Install 2017 
file: path = /usr/local/nginx/ state = directory 
notify: 
nginx install 
- nginx config 
handlers: 
— name: nginx install 
shell: cd /tmp; rm - rf nginx- 1.12.0. tar.gz; wget http: //nginx. org/download/nginx — 
1.12.0.tar.gz; tar xzf nginx- 1.12.0 
.tar.gz; cd nginx- 1.12.0; ./configure -- prefix = /usr/local/nginx; make; make install 
- name: nginx config 


template: src = /data/sh/nginx. conf. j2 dest = /usr/local/nginx/conf/nginx. conf 


a Ansible PlayBook 执行 剧本 文件 ,结果 如 图 21-37 所 示 





(a) Ansible PlayBook 执 行 模板 yaml 


图 21-37 Ansible PlayBook 执行 剧本 文件 
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#charset koi8-r; 


#access_log logs/host.access.log main; 


"1 


keepalive_timeout 


#gzip on; 


Écharset koi8-r; 
#access_log logs/host.access.log main; 
location 


root html; 
index index.htm] i 








(c) 149.12: ginx HTTP port 81 


图 21-37 (4%) 


21.16 Ansible 配置 文件 详解 


Ansible 默认 配置 文件 为 /etc/ansible/ansible. cfg ,配置 文件 中 可 以 对 Ansible 进行 各 
数 的 调整 ,包括 并 发 线程 、 用 户 、 模 块 路 径 、 配 置 优化 等 ,ansible. cfg 常用 参数 详解 如 下 















a [defaults]: 通用 默认 配置 段 

Q inventory etc/ansible/hosts: 被 控 端 IP sk # DNS 列表 

a library usr/share/my_modules/; Ansible 默认 搜寻 模块 的 位 置 。 
ü remote tmp SHOME/. ansible/tmp; Ansible 远程 执行 临时 文件 。 
Q pattern * : 对 所 有 主机 通信 

a forks = 5: 并 行 线程 数 

a poll interval 15, 回 频率 或 轮训 间隔 时 间 

a sudo user = root; sudo 远程 执行 用 户 名 

a ask sudo pass True: 使 用 sudo ,是 否 需 要 输入 密码 

a ask pass = True: 是 否 需 要 输入 密码 

Q transport = smart: 通信 机 制 

a remote port 22; 远程 SSH 端口 

a module lang C. RMA 问 通信 的 语 m 

Q gathering implicit: 控制 默认 facts 收 
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roles path— /etc/ansible/roles: 用 于 PlayBook 搜索 Ansible roles, 

host key checking = False: 检查 远程 主机 密 钥 。 

# sudo exe = sudo: sudo 远程 执行 命令 。 

4 sudo flags = -H: 传递 sudo 之 外 的 参数 。 

timeout = 10; SSH 超时 时 间 。 

remote user — root; 远程 登录 用 户 名 。 

log path = /var/log/ansible.log: 日 志文 件 存放 路 径 。 

module name = command; Ansible 命令 执行 默认 的 模块 。 

# executable = /bin/sh; 执行 的 shell 环境 ,用 户 shell 模块 。 

# hash behaviour = replace; 特定 的 优先 级 覆盖 变量 。 

zjinja2 extensions; 允许 开启 jinja2 拓展 模块 。 

# private_key_file = /path/to/file: 私 钥 文件 存储 位 置 。 

+ display skipped hosts = True: 显示 任何 跳 过 任务 的 状态 。 

并 system_warnings = True: 禁用 系统 运行 Ansible 潜在 问题 警告 。 

并 deprecation_warnings = True: PlayBook 输出 禁用 “不 建议 使 用 ”警告 。 
# command warnings = False: command 模块 Ansible 默认 发 出 警告 。 
# nocolor = 1; 输出 带 上 颜色 区 别 ,0 表示 开启 ,1 表示 关闭 。 

pipelining — False: 开启 pipe SSH 通道 优化 。 

[accelerate]; accelerate 缓存 加 速 。 

accelerate port — 5099: 加 速 连接 端口 5099, 

accelerate timeout = 30; 命令 执行 超时 时 间 ,单位 为 s. 

accelerate connect timeout = 5.0: 上 一 个 活动 连接 的 时 间 ,单位 为 min. 
accelerate daemon timeout = 30; 人 允许 多 个 私 钥 被 加 载 到 daemon, 
accelerate multi key = yes: 任何 客户 端 要 想 连 接 daemon 都 需要 开启 这 个 选项 。 


21.17 Ansible 性 能 调 优 


Ansible 企业 生产 环境 中 ,如 果 管理 的 服务 器 越 来 越 多 , Ansibe 执行 效率 会 变 得 比较 
慢 , 可 以 通过 优化 Ansible 提高 工作 效率 ,由 于 Ansible 基于 SSH 协议 通信 ,SSH 连接 慢 会 
导致 整个 基于 Ansible 执行 变 得 缓慢 ,也 需要 对 OpenSSH 进行 优化 ,具体 优化 的 方法 如 下 。 

(1) Ansible SSH 关闭 秘 钥 检 测 。 

默认 以 SSH 登录 远程 客户 端 服务 器 ,会 检查 远程 主机 的 公 钥 (public key) ,并 将 该 主机 
的 公 钥 记录 在 一 /. ssh/known hosts 文件 中 。 下 次 访问 相同 主机 时 ,OpenSSH 会 核对 公 
钥 ,如 果 公 钥 不 同 ,OpenSSH 会 发 出 警告 ,如 果 公 钥 相 同 , 则 提示 输入 密码 。 

SSH 对 主机 的 public key 的 检查 等 级 是 根据 StrictHostKeyChecking 变量 来 设 定 的 ， 
StrictHostKeyChecking 检查 级 别 包 括 no( 不 检查 ) .ask( 询 问 ) ,yes( 每 次 都 检查 )、False( 关 
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Hd. 
Ansible 配置 文件 中 加 入 如 下 代码 , 即 可 关闭 StrictHostKeyChecking 检查 : 


host key checking = False 


(2) OpenSSH 连接 优化 。 

使 用 OpenSSH 服务 时 ,默认 服务 器 端 配置 文件 UseDNS— YES 状态 ,该 选项 会 导致 服 
务 器 根据 客户 端的 IP 地 址 进行 DNS PTR 反 向 解析 ,得 到 客户 端的 主机 名 ,然后 根据 获取 
到 的 主机 名 进行 DNS 正 向 A 记录 查询 ,并 验证 该 IP 是 否 与 原始 IP 一致 。 关 闭 DNS 解析 
代码 如 下 : 


sed - i '/^GSSAPI/s/yes/no/g; /UseDNS/d; /Protocol/aUseDNS no' /etc/ssh/sshd config 
/etc/ init. d/sshd restart 

















(3) SSH pipelining 加 速 Ansible。 

SSH pipelining 是 一 个 加 速 Ansible 执行 速度 的 简单 方法 ,SSH pipelining 默认 是 关闭 
的 ,关闭 是 为 了 兼容 不 同 的 sudo 配置 ,主要 是 requiretty 选项 。 

如 果 不 使 用 sudo 建议 开启 该 选项 ,打开 此 选项 可 以 减少 Ansible 执行 没有 文件 传输 
时 ,SSH 在 被 控 机 器 上 执行 任务 的 连接 数 。 使 用 sudo 操作 的 时 候 , 必 须 在 所 有 被 管理 的 主 
机 上 将 配置 文件 /etc/sudoers 中 requiretty 选项 禁用 ,代码 如 下 : 


sed -i '/^ pipelining/s/False/True/g' /etc/ansible/ansible. cfg 


(4) Ansible facts 缓存 优化 。 

Ansible PlayBook 在 执行 过 程 中 ,默认 会 执行 Gather facts, 如 果 不 需要 获取 客户 端的 
fact 数据 的 话 ,可 以 关闭 获取 fact 数据 功能 ,关闭 之 后 可 以 加 快 Ansible PlayBook 的 执行 效 
率 。 如 需 关闭 fact 功能 ,在 PlayBook YAML 文件 中 加 入 如 下 代码 即 可 : 


gather facts: nogather facts: no 


Ansible facts 组 件 主要 用 于 收集 客户 端 设 备 的 基础 静态 信息 ,这 些 信息 可 以 在 做 配置 
管理 的 时 候 方便 引用 。facts 信息 直接 当 作 Ansible PlayBook 变量 信息 进行 引用 ,通过 定制 
facts 以 便 收集 到 想 要 的 信息 ,同时 可 以 通过 facter 和 ohai 来 拓展 facts 信息 ,也 可 以 将 facts 
信息 存 人 Redis 缓存 中 ,以 下 为 facts 使 用 Redis 缓存 的 步骤 。 

(1) 部 署 Redis 服务 ,代码 如 下 : 


wget http: //download. redis. io/releases/redis - 2.8.13. tar. gz 





tar zxf redis - 2.8. 13. tar.gz 
cd redis - 2.8.13 

make PREFIX = /usr/local/redis install 

cp redis.conf /usr/1local/redis/ 


将 /usr/local/redis/bin/ 目 录 加 入 至 环境 变量 配置 文件 /etc/profile 末尾 ,然后 shell 终 
端 执 行 source /etc/profile 让 环境 变量 生效 ,代码 如 下 : 
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export PATH = /usr/local/redis/bin: $PATH 

启动 及 停止 Redis 服务 命令 ,代码 如 下 : 

nohup /usr/local/redis/bin/redis- server /usr/local/redis/redis. conf & 
(2) 安装 Python Redis 模块 ,代码 如 下 : 


easy install pip 
pip install redis 


(3) Ansible 整合 Redis 配置 
在 配置 文件 /etc/ansible/ansible. cfg 的 defaluts 段 中 加 入 以 下 代码 ,如 果 Redis 密码 为 
admin, 则 开启 admin 密码 行 ,代码 如 下 : 


gathering = smart 

fact_caching = redis 

fact caching timeout = 86400 

fact caching connection = localhost:6379 


# fact caching connection = localhost:6379:0:admin 





(4) 测试 Redi f 
Ansible PlayBook 执行 nginx wget. yaml 剧本 文件 ,代码 如 下 . 2 





21-38 所 示 


ansible- playbook — nginx_wget. yaml 





图 21-38  Ansible PlayBook 执行 . yaml 剧本 文件 


检查 Redis 服务 器 ,facts key BFA Redis 中 ,如 图 21-39 所 示 








图 21-39 
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配置 
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(5) ControlPersist SSH 优化 。 
ControlPersist 特性 需要 高 版 本 的 SSH 支持 ,CentOS 6 默认 是 不 支持 的 ,如 果 需 要 使 


,需要 自行 升级 OpenSSH., 


ControlPersist 即 持 久 化 的 socket, 一 次 验证 多 次 通信 。 并 且 只 需要 修改 SSH 客户 端 
,也 即 Ansible 被 管理 主机 。 可 使 用 YUM 或 者 源码 编译 升级 OpenSSH 服务 ,升级 完 


EE ControlPersist 的 设置 办 法 如 下 ,在 其 用 户 的 家 目录 创建 config 文件 , 如果 Ansible 以 


root 


Ansi 





用 户 登 录 客户 端 ,只 需要 在 客户 端的 /root/. ssh/config 目录 中 添加 如 下 代码 即 可 : 














Host * 
Conpression yes 
ServerAliveInterval 60 
ServerAliveCountMax 5 
ControlMaster auto 
ControlPath —/.ssh/sockets/ & r@ $h- &p 
ControlPersist 4h 


开启 ControlPersist 特性 后 ,SSH 在 建立 sockets 后 ,节省 了 每 次 验证 和 创建 的 时 间 ,对 
ble 执行 速度 提升 是 非常 明显 的 。 


— ^& | Jenkins 持续 集成 企业 实战 








构建 企业 自动 化 部 署 平台 ,可 以 大 大 地 提升 企业 网 站 部 署 效率 ,企业 生产 环境 每 天 需要 
更 新 各 种 系统 ,传统 更 新 网 站 的 方法 是 使 用 shell 十 rsync 实现 网 站 代码 备份 .更 新 ,更 新 完 
之 后 , 运 维 人 员 手 动 发 送 邮件 给 测试 人 员 、 开 发 人 员 以 及 相关 的 业务 人 员 , 传 统 更 新 网 站 耗 
费 大 量 的 人 力 , 同 时 偶尔 由 于 误 操作 会 出 现 问题 。 构 建 自动 化 部 署 平台 变 得 迫在眉睫 。 

本 章 向 读者 介绍 传统 网 站 部 署 方法 、 企 业主 流 部 署 方法 ,Jenkins 持续 集成 简介 、 持 续集 
成 平台 构建 Jenkins 464-35 Jenkins 自动 化 部 署 网 站 Jenkins 多 实例 及 Ansible 十 Jenkins 批 
量 自动 部 署 等 内 容 。 


22.1 传统 网 站 部 署 的 流程 


服务 器 网 站 部 署 是 运 维 工程 师 的 主要 工作 之 一 ,传统 运 维 网 站 部 署 主要 靠 手动 部 署 , 手 
工 部 署 网 站 的 流程 大 致 分 为 需求 分 析 一 原型 设计 一 开发 代码 一 提交 测试 一 内 网 部 署 一 确认 
上 线 一 备份 数据 一 外 网 更 新 一 发 布 完 毕 一 网 站 测试 等 ,如 果 发 现 外 网 部 署 的 代码 有 蜡 常 , 需 
要 及 时 回 滚 ,如 图 22-1 所 示 。 









































不 通过 
[需求 分 析 原型 设计 开发 代码 上 让 提交 测试 E 内 网 部 团 ] a 
外 网 更 新 一 | 备份 数据 -了 确认 上 线 | 一 一 一 
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图 22-1 网 站 传统 部 署 方法 及 流程 
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服务 器 部 署 基 于 YUM 安装 LAMP 架构 ,并 且 部 署 Discuz, 最 终 效果 如 图 22-2 所 示 。 


€ > Ç D bbsjfedu.net/forum.php 





设 为 首页 收藏 本 站 


ns- Ë] ae so == as 


论坛 
© 今日 : 0 | 昨日: 0 | 帖子 :0 | 会 员 : 1 | 欢迎 新 会 员 : admin 


Discuz! 
图 22-2 YUM 部 署 LAMP 十 Discuz 网 站 
通过 SecureCRT 登录 网 站 服务 器 ,并 将 logo. png 文件 上 传 至 网 站 目录 ,手动 备份 网 
站 ,并且 更 新 网 站 的 logo, 更 新 完毕 如 图 22-3 所 示 。 


F 论坛 - Powered by Discu X 
€ > C D bbsjfedu.net/forum.php 








ETE 


(gum 


图 22-3 手工 更 新 LAMP 网 站 logo 文件 


22.2 目前 主流 网 站 部 署 的 流程 


传统 部 署 网 站 的 方法 对 于 单 台 或 者 几 台 服务 器 更 新 很 容易 ,如 果 服 务 器 规模 超过 百 台 
或 者 千 台 ,更 新 网 站 代码 很 频繁 ,手工 更 新 非常 消耗 人 力 和 时 间 成 本 。 

基于 主流 的 Hudson/Jenkins 工具 平台 实现 全 自动 网 站 部 署 、 网 站 测试 .网 站 回 滚 会 
大 地 减少 网 站 部 署 的 成 本 ,Jenkins 的 前 身 为 Hudson. Hduson 为 商业 版 ,Jenkins 为 开源 免 
费 版 。 
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Jenkins 是 一 个 可 扩展 的 持续 集成 引擎 ,是 一 个 开源 软件 项 目 , 旨 在 提供 一 个 开放 易 用 
的 软件 平台 ,使 软件 的 持续 集成 变 成 可 能 。 而 且 Jenkins 平台 的 安装 和 配置 非常 容易 ,使 用 
也 非常 简单 。 构 建 Jenkins 平台 可 以 解放 人 员 的 双手 ,具体 内 容 如 下 : 
a FRAR: 对 于 开发 人 员 来 说 ,只 需 负 责 网 站 代码 的 编写 ,不 需要 手动 再 对 源码 进行 
编译 ,打包 ,单元 测试 等 工作 ,开发 人 员 直 接 将 写 好 的 代码 分 支 存 放 在 SVN、GIT 仓 
库 即 可 。 
o 运 维 人 员 : 对 于 运 维 人 员 来 说 ,使 用 Jenkins 自动 部 署 ,可 以 减轻 人 工 干 预 的 错误 
率 , 同 时 解放 运 维 人 员 繁 杂 的 上 传代 码 .手动 备份 .手动 更 新 。 
a 测试 人 员 : 对 于 测试 人 员 来 说 ,可 以 通过 Jenkins 进行 代码 测试 ,网 站 功能 或 者 性 能 
测试 。 
基于 Jenkins 自动 部 署 网 站 的 流程 大 致 分 为 需求 分 析 一 原型 设计 一 开发 代码 一 提交 测 
试 >Jenkins 内 网 部 署 一 确认 上 线 一 Jenkins 备份 数据 一 Jenkins 外 网 部 署 一 发 布 完毕 一 
Jenkins 网 站 测试 等 ,如 果 发 现 外 网 部 署 的 代码 有 异常 ,可 以 通过 Jenkins 及 时 回 滚 , 如 
图 22-4 所 示 。 
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图 22-4 Jenkins 部 署 网 站 的 方法 及 流程 


22.3 Jenkins 持续 集成 简介 


持续 集成 (continuous integration ,CIT) 是 一 种 软件 开发 实践 ,对 于 提高 软件 开发 效率 并 
保障 软件 开发 质量 提供 了 理论 基础 ,持续 集成 意义 如 下 : 
a 持续 集成 中 的 任何 一 个 环节 都 是 自动 完成 的 ,无 须 太 多 的 人 工 干预 ,有 利于 减少 重 
复 过 程 以 节省 时 间 、 费 用 和 工作 量 ; 
a 持续 集成 保障 了 每 个 时 间 点 上 团队 成 员 提 交 的 代码 是 能 成 功 集成 的 ,换言之 ,任何 
时 间 点 都 能 第 一 时 间 发 现 软件 的 集成 问题 ,使 任意 时 间 发 布 可 部 署 的 软件 成 为 
可 能 ; 
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9 持续 集成 还 能 利于 软件 本 身 的 发 展 趋势 .在 需求 不 明确 或 是 频繁 性 变更 的 情景 中 万 
其 重要 ,持续 集成 的 质量 能 帮助 团队 进行 有 效 决策 ,同时 建立 团队 对 开发 产品 的 
信心 。 


22.4 Jenkins 持续 集成 组 件 


要 掌握 Jenkins 技能 ,需要 了 解 Jenkins 持续 集成 平台 依赖 的 组 件 ,例如 JOB 工程 、 
SVN CEW Jenkins 服务 器 ,详解 如 下 : 
a 自动 构建 过 程 JOB,JOB 的 功能 主要 是 获取 SVN/GIT 源码 .自动 编译 自动 打包 、 部 
署 分 发 和 自动 测试 等 。 
a 源 代码 存储 库 , 开 发 编写 代码 需 上 传 至 SVN GIT 代码 库 中 , 供 Jenkins 来 获取 。 
a Jenkins 持续 集成 服务 器 ,用 于 部 署 Jenkins UI、 存 放 JOB 工程 、 各 种 插件 ,编译 打包 
的 数据 等 。 


22.5 Jenkins 平台 安装 部 署 


Jenkins 官网 免费 获取 Jenkins 软件 .官网 地 址 http: //mirrors. jenkins-ci. org/ 下 载 稳 
定 的 Jenkins 版 本 。Jenkins 是 基于 Java 开发 的 一 种 持续 集成 工具 ,所 以 Jenkins 服务 器 需 
安装 Java JDK 开发 软件 。Jenkins 平台 搭建 步骤 如 下 。 

(1) Jenkins 稳定 版 下 载 .地 址 如 下 。 

http://updates. jenkins-ci. org/download/war/1. 651. 2/jenkins. war 

(2) 官网 下 载 Java JDK ,并 解压 安装 ,代码 如 下 : 


tar - xzf jdk- 7u25 - linux- x64. tar.gz ; mkdir - p /usr/java/ ; mv jdk1.7.0 25/ /usr/java/ 
(3) 配置 Java 环境 变量 ,在 /etc/profile 配置 文件 中 末尾 加 入 如 下 代码 : 


export JAVA HOME = /usr/java/jdkl.7.0 25 
export CLASSPATH = $CLASSPATH: $JAVA HOME/lib: $JAVA HOME/jre/lib 
export PATH= $JAVA_HOME/bin: $JAVA HOME/jre/bin: $PATH: $HOMR/bin 


执行 如 下 代码 使 其 环境 变量 生效 ,并 查看 环境 变量 ,命令 如 下 : 


source /etc/profile 


java -- version 


(4) Tomcat Java 容器 配置 .代码 如 下 : 


wget http: //mirror.bit. edu. cn/apache/toncat/toncat - 6/v6. 0. 53/bin/apache - tomcat - 6. 0.53. 
tar.gz 

tar xzf apache - tomcat - 6.0.53. tar. gz 

mv apache- tomcat - 6.0.53  /usr/local/toncat 
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(5) Tomcat 发 布 Jenkins, 将 jenkins. war 复制 到 Tomcat 默认 发 布 的 目录 下 ,并 使 用 
jar 工具 解压 ,启动 Tomcat 服务 即 可 ,代码 如 下 : 


rm — r£ /usr/local/tomcat/webapps/ * 

mkdir - p /usr/local/tomcat/webapps/ROOT/ 

mv jenkins. war /usr/local/tomcat/webapps/ROOT/ 
cd /usr/1ocal/toncat/webapps/ROOT/ 

jar — xvf jenkins. war; rm — rf Jenkins. war 


sh /usr/local/tomcat/bin/startup. sh 


(6) 通过 客户 端 浏览 器 访问 Jenkins 服务 器 IP 地 址 ,如 图 22-5 所 示 。 
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图 22-5 Jenkins 自动 部 署 平 台 


22.6 Jenkins 相关 概念 


要 熟练 掌握 Jenkins 持续 集成 的 配置 、 使 用 和 管理 ,需要 了 解 相关 的 概念 ,例如 代码 开 
发 .编译 .打包 、 构 建 等 名 称 概 念 ,常见 的 代码 相关 概念 包括 make ant, maven, Eclipse, 
Jenkins 等 。 具 体内 容 如 下 : 

(1) make 编译 工具 。 

make 编译 工具 是 Linux 和 Windows 最 原始 的 编译 工具 ,在 Linux 下 编译 程序 常用 
make,Windows 下 对 应 的 工具 为 nmake。 读 取 本 地 makefile 文件 ,该 文件 决定 了 源 文件 之 
间 的 依赖 关系 ,make 负责 根据 makefile 文件 去 组 织 构建 软件 ,负责 指挥 编译 器 如 何 编译 ， 
连接 器 如 何 连接 ,以 及 最 后 生成 可 用 二 进 制 的 代码 。 

(2) ant 编译 工具 。 

make 工 具 在 编译 比较 复杂 的 工程 中 时 使 用 起 来 不 方便 ,语法 很 难 理解 ,因此 延伸 出 
ant TH, an 工具 属于 Apache 基金 会 软件 成 员 之 一 ,是 一 个 将 软件 编译 ,测试 .部 署 等 步 
又 联系 在 一 起 加 以 自动 化 的 一 个 工具 ,大 多 用 于 Java 环境 中 的 软件 开发 。 
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ant 构建 文件 是 XML 文件 。 每 个 构建 文件 定义 一 个 唯一 的 项 目 (project 元 素 )。 每 个 
项 目下 可 以 定义 很 多 目标 元 素 ,这 些 目 标 之 间 可 以 有 依赖 关系 。 

构建 一 个 新 的 项 目 时 ,应 该 编写 ant 构建 文件 。 因 为 构建 文件 定义 了 构建 过 程 ,并 为 团 
队 开 发 中 每 个 人 所 使 用 。 

ant 构建 文件 默认 名 为 build. xml ,也 可 以 修改 为 其 他 的 名 称 。 只 不 过 在 运行 的 时 候 需 
把 这 个 命名 当 作 参数 传 给 ant。 构 建文 件 可 以 放 在 任何 的 位 置 ,一 般 做 法 是 放 在 项 目 顶层 
目录 也 即 根 目 录 , 这 样 可 以 保持 项 目的 简洁 和 清晰 。 

(3) maven 编译 工具 。 

maven 工具 是 对 ant 工具 的 进一步 改进 ,在 make 工具 中 ,如 果 需 要 编译 某 些 源 文件 , 首 
先 要 安装 编译 器 等 工具 。 有 时 候 需 要 不 同 版 本 的 编译 器 ,例如 Java 编译 器 在 编译 文件 时 需 
要 各 种 依赖 包 的 支持 ,如 果 把 每 个 包 都 下 载 下 来 ,在 makefile 中 进行 配置 制定 , 当 需 要 的 包 
非常 多 时 ,很 难 管理 。 

maven 与 ant 类 似 , 也 是 构建 (build) 工 具 , 它 是 如 何 调用 各 种 不 同 的 编译 器 连接 器 呢 ? 
使 用 maven plugin(maven 插件 ),maven 项 目 对 象 模型 POM(project object model) ,可 以 通 
过 一 小 段 描述 信息 来 管理 项 目的 构建 ,报告 和 文档 的 软件 项 目 管理 工具 。maven 除了 以 程 
序 构建 能 力 为 特色 之 外 ,还 提供 高 级 项 目 管理 工具 。 

POM 是 maven 项 目 中 的 文件 ,使 用 XML 表示 ,名 称 为 pom. xml, fE maven 中 , 当 构 
建 project 的 时 候 , 不 仅仅 是 一 堆 包含 代码 的 文件 ,还 包含 pom. xml 配置 文件 ,该 文件 包括 
project 与 开发 者 有 关 的 、 缺 陷 跟 踪 系 统 ` 组 织 与 许可 、 项 目的 URL、 项 目 依赖 以 及 其 他 
配置 。 

基于 maven 构建 编译 时 ,project 可 以 什么 都 没有 ,甚至 没有 代码 ,但 是 必须 包含 pom. 
xml 文件 。 由 于 maven 的 默认 构建 规则 有 较 高 的 可 重用 性 ,所 以 常常 用 两 三 行 maven 构建 
脚本 就 可 以 构建 简单 的 项 目 。 

由 于 maven 的 面向 项 目的 方法 ,许多 Apache Jakarta 项 目 发 文 时 使 用 maven. 而 且 公 
司 项 目 采 用 maven 的 比例 在 持续 增长 。 

(4) Jenkins 框架 工具 。 

maven 可 以 实现 对 软件 代码 进行 编译 .打包 、 测 试 ,功能 已 经 很 强大 了 , 那 还 需要 
Jenkins 做 什么 呢 ? maven 可 以 控制 编译 ,控制 连接 ,可 以 生成 各 种 报告 ,可 以 进行 代码 测 
试 。 但 是 默认 不 能 控制 完整 的 流程 。 没 有 顺序 定义 . 那 是 先 编译 还 是 先 连接 ,先进 行 代码 测 
试 还 是 先生 成 报告 ? 因此 需要 使 用 脚本 来 对 maven 进行 控制 ,实现 这 些 流 程 的 控制 。 

(5) Eclipse 工具 。 

Eclipse 是 一 个 开放 源 代码 的 、 基 于 Java 的 可 扩展 开发 平台 。 就 其 本 身 而 言 , 它 只 是 一 
个 框架 和 一 组 服务 ,用 于 通过 插件 组 件 构 建 开发 环境 。Eclipse 附带 了 一 个 标准 的 插件 集 ， 
包括 Java 开发 工具 (Java development kit,JDK) ,主要 用 于 开发 者 开发 网 站 代码 。 
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22.7 Jenkins 平台 设置 


Jenkins 持续 基础 平台 部 署 完毕 ,需要 进行 简单 配置 ,例如 配置 Java 路 径 、 安 装 maven, 
指定 SVN GIT 仓库 地 址 等 ,以 下 为 Java IA maven 设置 步骤 。 
(1) Jenkins 服务 器 安装 maven ,代码 如 下 : 


wget 

http: //nirrors. tuna. tsinghua. edu. cn/apache/naven/naven — 3/3. 3. 9/binaries/apache — maven 一 
3.3.9 - bin. tar.gz 

tar - xzf apache - maven - 3.3.9 - bin.tar.gz 

mv apache- maven— 3.3.9 — /usr/maven/ 


(2) Jenkins 系统 设置 环境 变量 ,如 图 22-6 所 示 。 





& me 管理 Jenkins 
muse Your container doesn't use UITF 8 to decode UR 
F3 Ë Tomcat i180 for more details. 
项 目 关系 
x © canran ZS TE 
(Kei wasilla à Jenkins ie  (2.19.1)0] 5, download (S Ë RE 
CUT 
Q. Credentials. 
Configure Global Sec unty 
构建 队列 - a Secure Jenkins. define who is allowed 
AMP RARER enga I 
WU Swe Mme 


(a) Jenkins 系 统 设置 (D) 





JDK 
JDK FA JDK 
别名 JDK 
JAVA HOME ova ik 7.0, 257 
B ajra 
ago 
FART JOK FRIR 
Ant 
Ant $238 PT 
FART Ant RADIE 
Maven 
Maven 安装 Maven 
Name MVN 


MAVEN HOME [aimavo 
(b) Jenkins 系 统 设置 (2) 


图 22-6 Jenkins 系统 设置 
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(3) Jenkins 系统 设置 完毕 , 需 创 建 JOB 工程 ,具体 步骤 如 下 : 
在 Jenkins 平台 首页 中 创建 一 个 新 任务 . 填 和 人 Item 名 称 , 选 择 “ 构 建 一 个 maven WA”. 
再 单 击 OK 按钮 ,如 图 22-7 所 示 。 





Mem 全 称 wwwjfedu net 


© 构建 一 个 自由 风格 的 软件 项 目 
这 是 Jenkins 的 主要 功能 Jenkins 符 会 结合 任何 SCM 和 任何 构建 系统 来 构建 你 的 项 目 . 甚至 可 以 构建 软件 以 外 的 系统 


© 构建 一 个 maven 项 目 
构建 一 个 maven 项 目 Jenkins 利 用 你 的 POM 文 件 .这 样 可 以 大 大 减轻 构建 配置 


© External Job 
这 个 类 型 的 任务 允许 你 记录 执行 在 外 部 Jenkins 的 任务 , 任务 甚至 运行 在 远程 机 器 上 RLibenkinsfEATAAES 
Emas 


O 构建 一 个 多 配置 项 目 
适用 于 多 配置 项 目 .例如 多 环境 测试 平台 指定 构建 等 等 


K 
22-7 Jenkins @J#Ë Jenkins JOB 工程 


CA) 创建 完 JOB 任务 , 需 对 任务 进行 配置 ,如 图 22-8 所 示 。 


A + 
s w Name 上 上 次 成 功 上 次 失败 
[] J www jfedu net 没有 无 
Bh SML EB 图 8 


图 22-8 Jenkins 配置 JOB 工程 


(5) 单 击 www. jfedu. net 工程 名 ,选择 “配置 一 JOB 工程 详细 配置 一 源码 管理 一 

Subversion” ft t SVN 仓库 地 址 ,如 果 报 错 需 要 输入 SVN 用 户 名 和 密码 ,如 图 22-9 所 示 。 
源码 管理 ,SVN 代码 迁 出 参数 详解 如 下 : 

Repository url; 配置 SVN 仓库 地 址 。 

Local module directory: 存储 SVN 源码 的 路 径 。 

Ignore externals option; 忽略 额外 参数 。 

Check-out Strategy: 代码 检 出 策略 。 

Repository browser: 仓库 浏览 器 .默认 Auto。 

add more locations: 源码 管理 ,允许 下 载 多 个 地 址 的 代码 。 





a 
a 
a 
a 
a 
a 
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Modules 
Repository URL svn://139 224 227.121:8801/edu 


Local module directory (optional) 


Repository depth {infinity | 
Ignore extemais ü 


图 22-9 Jenkins 配置 SV N 仓库 地 址 


Q Repository depth: 获取 SVN 源码 的 目录 深度 ,默认 为 infinity。 

a empty: 不 检 出 项 目的 任何 文件 。 

a files: 所 有 文件 。 

2 immediates: 日 录 第 一 级 。 

a infinity: 整个 目录 所 有 文件 。 

(6) 配置 maven 编译 参数 ,依次 选择 Build Goals and options, Jf $f A clean install 
-Dmaven. test, skip— true, EA Jy maven 自动 编译 ,打包 并 跳 过 单元 测试 选项 ,如 图 22-10 
所 示 。 


Pre Steps 
Add pro-build stop ~ 
Build 
Root POM pom xml 
oals and options clean install -Dmaven test skip=true 
Post Steps. 


© Run only if build succeeds @ Run only if build succeeds or is unstable * Run regardless of build result 
Should the post-bulid steps run only for successtui builds. etc 


= 

图 22-10 Jenkins 配置 maven 编译 参数 
maven 工具 常用 命令 详解 如 下 : 
a mvn clean: 打包 清理 (删除 target 目录 内 容 )。 


a mvn compile; 编译 项 目 。 
a mvn package: 打包 发 布 。 
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2 myn package -Dmaven. test. skip= ture: 打包 时 跳 过 测试 。 


通过 以 上 的 配置 步骤 , 即 完 成 了 JOB 工程 的 创建 。 





22.8 Jenkins 构建 JOB 工程 


Jenkins JOB 工程 创建 完毕 ,直接 运行 构建 ,Jenkins 将 从 SVN 仓库 获取 Web 代码 , 然 
后 通过 maven 编译 .打包 ,并 最 终生 成 可 以 使 用 的 war 包 即 可 ,操作 步骤 如 下 。 
(1) 单 击 www. jfedu. net 工程 名 ,进入 JOB 工程 详细 配置 界面 , 单 击 “ 立 即 构建 ”, 如 


图 22-11 所 示 。 


会 返回 面板 
Q ws 

B semen 
B 工作 空间 
O sena 





Maven project www.jfedu.net 


© Bie Maven project | E 


Z um 
[Some 


Ê Emaii Template Testing => pma 





最 终 万 功 构建 
eduwar 2470 MB sx view 











图 22-11 Jenkins JOB 工程 配置 界面 


(2) 查看 Build History, 单 击 最 新 一 次 百分比 滚动 条 任务 ,如 图 22-12 所 示 。 




















= eduwar — 24.70 MB 
EET D #8 view 
e Email Template Testing = 最 新 收 改 
Bui History sme- 相关 链接 

[ find Last buildi#26) 1 分 36 秒 之 前 
eun 2017-5-4 157321 u 

aA——— ] 

1] 

Q ns 2017-6-4 下 寺 317 p - 
@ #25 2017-6-4 F311 Last completed build(#26) 1 分 36 $22 8i 
om 2017-5-27 F158 


fl 22-12 Jenkins JOB 工程 Build 界面 


(3) BEA JOB 工程 编译 详细 页 面 44a Console Output, 如 图 22-13 所 示 。 

(4) 查看 Jenkins 构建 实时 日 志 , 如 图 22-14 所 示 。 

控制 台 日 志 打 印 Finished: SUCCESS. 则 表示 Jenkins 持续 集成 构建 完成 ,会 在 
Jenkins 服务 器 目录 www. jfedu. net 工程 名 目录 下 生成 网 站 可 用 的 war 文件 ,将 该 war 包 
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Q wee @ 构建 #27 (2017-6-4 15:21 


= 构建 产生 文件 
= wama [Eeduwar — 2470 MB až view 


S = 修正 版 本 号 200 


EJ Tag this buia 没有 支 更 。 
@ Redeploy Artifacts p razmene 


图 22-13 Jenkins JOB 工程 Console Output 界面 


Started by user anonymous 

3uilding on master in workspace /root/. jerkins/workspace/wew. jfedu. net 

Jpdat ing =m: // 139, 224, 227. 121: 8801/edi at revision '2017-06-O4TI5: 17:11. 704 +0800" 

At revision 200 

no change for svn://139. 224.227. 121:8801/edu since the previous build 

Yo emails vere triggered. 

Parsing POMS 

(www, jfedu net] $ /usr/java/jdel. 8 0_131//bin/java -cp /root/. jenkine/plugine/maven-plugity WEB- INF/ lib/naven3 l~ag 
1.5. jar:/data/maver/boot/plexus-clazsworlde-2. 5.2. jar:/data/maver/conf/logging jerking. naven3. agent. Maven31Main / 
fust/local/toncat, jenkinz/vebapps/ROOT/WEB-INF/ lib/ reaoting-2.57. jar /root/. jenkins/pluginz/naven-plugin/ VEB-INF/ 
(root /. jenkins/plug ins/naverr-plug ir/ WEB-INF/1ib/naven3-interceptor-commons-1. 5. jar 27365 

<==(JENKINS REMDTING CAPACITY) ==>channel started 

ixecuting Maven: -B -f /root/. jenkins/workspace/wew. jfedu net/pom xal clean install —Dnaven test. skip-true 
[INFO] Scanning for projects... 

INFO] 

Imo —— 

[INFO] Building edu Maven Webspp 0.0. I-SNAPSHOT 

[INFO] 





[INFO] — maven-clean-plugin:2.5:clean (default-clean) 6 edu — 
[INEO] Deleting /root/. jerkins/workspace/wrw. jfedu. net/target 


(a) Jenkins JOB 工程 编译 控制 台 (1) 


m 

[INFO] 一 mawen-install-plugin:2.4:install (default-install) @ edu 一 一 

[INFO] Installing /root/, jerkins/vorkspace/www, jfedu net/target/edu.var to /root/.n2/ repository/coa/shareku/edu/0 
SNAPSEDT, war 

[INFO] Installing /root/, jerkins/workspace/ www. jfedu net/pom xal to /root/. a2/repository/com/ shareku/edu/0, 0. -SN 








[INFO] Total tine: 13.733 s 

[INFO] Finished at: 2017-06-04T16:17: 35408: 00 
[INFO] Final Memory: 25W/171N) 

[NO] 
[JENKINS] Archiving /root/. jerkins/workspace/wrv. jfedu net/pom xal to con. shareku/edu/0. 0. 1-SNAPSEDT/ edu-0. 0. 1-SN 
[JENKINS] Archiving /root/. jerkins/workspace/wew. jfedu net/target/edu.var to com. shareku/edu/Q. 0. 1-SNAPSHOT/edu-0 
chamel stopped 

(www, jfedu net] $ /bin/sh -xe /usr/local/toacat_jenkins/tenp/hudson66297058876941 15145. sh 


Avchisine artifarte 





(b) Jenkins JOB 工程 编译 控制 台 (2) 
图 22-14 Jenkins JOB 工程 编译 控制 台 


部 署 至 其 他 服务 器 即 可 ,war 路 径 为 /root/. jenkins/workspace/www. jfedu. net/target/ 


edu. war, 


至 此 ,Jenkins 持续 集成 平台 自动 构建 软件 完成 ,该 步骤 只 是 生成 了 war 包 ,并 没有 实现 
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自动 将 该 war 包 部 署 至 其 他 服务 器 ,如 果 要 自动 部 署 需 要 基于 Jenkins 插件 或 者 shell, 
Python 等 自动 化 部 署 脚本 。 


22.9 Jenkins 自动 化 部 署 


通过 手动 构建 Jenkins JOB 工程 .自动 编译 .打包 生成 war 包 , 并 不 能 实现 自动 部 署 ,要 
实现 自动 部 署 可 以 使 用 自动 部 署 插件 或 者 shell 脚本 .Python 脚本 等 。 

以 下 为 以 shell 脚本 实现 Jenkins 自动 部 署 war 至 其 他 多 台 服 务 器 ,并 自动 启动 
Tomcat, 实 现 最 终 Web 浏览 器 访问 。Jenkins 自动 部 署 完整 操作 步骤 如 下 : 

(1) 单 击 www. jfedu. net 工程 名 ,选择 "配置 一 构建 后 操作 一 Add post-build step 
Archive the artifacts 习 用 于 存档 的 文件 ”, 输 入 ** /target/ * . war, 该 选项 主要 用 于 Jenkins 
编译 后 会 将 war 包 存 档 一 份 到 target 目录 ,该 文件 可 以 通过 Jenkins Tomcat 的 HTTP 端 
口 访问 ,如 图 22-15 所 示 。 


Aggregate downstream test results Mvanables 





Build other projects 
| Deploy arttacts to Maven repository 
Record fingerprints of fles lo rack usage 


Í Eatabie Email Notticaton Templates. 


a - 
EB ^ 
(a) Jenkins JOB 工程 自动 部 署 设置 (1) 
Add post-buiki step ~ 
构建 设置 
ËB E-mail Notification 
Was dd 


(b) Jenkins JOB T-FE EL a) UEL) 
图 22-15 Jenkins JOB 工程 自动 部 署 设置 


(2) Jenkins 构建 完毕 ,访问 Jenkins war 存档 的 文件 ,URL 地 址 如 下 : 
http://139. 224. 227. 121; 7001/job/www. jfedu. net/lastSuccessfulBuild/artifact/ 
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target/edu. war 

(3) 依次 Add post-build step-* Execute shell Command . #7 A An F(t fd . S: HA Jenkins 
edu. war 包 自 动 部 署 , 以 下 为 139. 199. 228. 59 客户 端 单 台 服 务 器 部 署 edu. war, 如 果 
多 台 可 以 使 用 ip.txt 列表 ,将 全 加 入 至 ip.txt, 通 过 for 循环 实现 批量 部 署 , 如 图 22-16 
Bim. 

cp /root/. jenkins/workspace/www. jfedu. net/target/edu. war /root/. jenkins/jobs/www. jfedu. 

net/builds/lastSuccessfulBuild/archive/target/ 


ssh root@139.199.228.59 'bash -x - s' < /data/sh/auto deploy.sh 
# for I in 'cat ip.txt'; do ssh root@ $(I) 'bash -x - s' < /data/sh/auto deploy.sh ; done 


uuum we pusruunu sis run Um rur successi uunus vi. 





Invoke Ant 
Invoke top-level Maven targets. 


Archive the artifacts 
用 于 存 村 文件 | “large war 
Did not manage to validate **/target/* war (may be too slow) 


(a) Jenkins JOB 构建 完毕 执行 shell(1) 





Post Steps 
© Run only if build succeeds @ Run only if build succeeds or is unstable * Run regardless ç 
Should the post-build steps run only for successful builds. etc 
{È Execute shell 
Command 


cp /root/. jenkins/workspace/wwr. UE aA utama war /root/, jerkins/ jobs/wwr. jfedu, net /builé 
ssh ro0t6139,199.228.59 ‘bash -x -z' < /data/slVauto deploy. sh 
or I in cat ip.txt ;dh ssh rooté$[I] “bash -x —s' < /data/sh/auto deploy.zh ¿done 








See the list of available environment variables 
(b) Jenkins JOB 构建 完毕 执行 shell(2) 


22-16 Jenkins JOB 构建 完毕 执行 shell 


(4) Jenkins 将 edu. war 自动 部 署 至 139. 199. 228. 59 服务 器 Tomcat 发 布 目 录 , 需 提 前 
配置 登录 远程 客户 端 免 秘 钥 , 免 秘 钥 配置 首先 在 Jenkins 服务 器 执行 ssh-keygen 命令 ,然后 
Ti Enter 键 生成 公 铀 和 私 钥 , 再 将 公 钥 id_rsa. pub 复制 到 客户 端 /root/. ssh/ 目 录 , 并 重 命 
名 为 authorized_keys, 操 作 命 令 如 下 : 


ssh- keygen -t rsa -P ' ' — f /root/.ssh/id rsa 
ssh- copy- id — i /root/. ssh/id_rsa. pub 139.199.228.59 


(5) shell 脚本 需 放 在 Jenkins JIR $ 38 / data/sh/ ,无 须 放 在 客户 端 ,shell 脚本 内 容 如 下 : 
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#!/bin/bash 

# Auto deploy Tomcat for jenkins 

# By author jfedu. net 2017 

export JAVA HOME = /usr/java/jdk1.6.0_25 

TOMCAT PID- '/usr/sbin/lsof -n -P -t — i :8081" 
TOMCAT DIR = "/usr/local/tomcat/" 

FILES = "edu. war" 

DES DIR = "/usr/local/tomcat/webapps/ROOT/" 

DES URL = " http://139. 224. 227. 121: 7001/job/www. jfedu. net/lastSuccessfulBuild/artifact/ 
target/" 

BAK DIR- "/export/backup/'date + *Y%m%d- %H% M" 
[ -n"$TOMCAT PID" ] && kill -9 $TOMCAT PID 

cd $DES DIR 

rm 一 rf SFILES 

mkdir -p $BAK DIR; \cp — a $DES DIR/ * $BAK DIR/ 
rm -rf $DES_DIR/ * 

wget $DES URL/SFILES 

/usr/java/jdk1.6.0 25/bin/jar - xvf $FILES 
HHHPH HHHHHHHHHHHHH 

cd $TOMCAT DIR; rm - rf work 

/bin/sh $TOMCAT DIR/bin/start. sh 

sleep 10 

tail -n 50 $TOMCAT DIR/logs/catalina. out 


如 上 通过 shell 十 for 循环 可 以 实现 网 站 简单 部 署 ,如 果 需 要 将 Jenkins edu. war 包 批 量 
快速 部 署 至 100 台 、500 台 服 务 器 ,该 如 何 去 实 现 呢 ? 后 续 小 节 会 讲解 到 。 


22.10 Jenkins 插件 安装 


Jenkins 最 大 的 功能 莫 过 于 插件 丰富 ,基于 各 种 插件 可 以 满足 各 项 需求 ,Jenkins 本 身 是 
一 个 框架 ,真正 发 挥 作 用 的 是 各 种 插件 。Jenkins 默认 自 带 很 多 插件 ,如 果 需 添加 新 插件 ,可 
以 在 Jenkins 平台 主页 面 进行 操作 ,操作 步骤 如 下 : 

在 Jenkins 平台 首页 中 选择 "系统 管理 一 管理 插件 一 可 选 插件 ”搜索 email-ext-plugin 
插件 选择 并 安装 ,如 果 没 有 该 插件 , 则 需 单 击 “高 级 ”按钮 ,手动 上 传 插件 并 安装 ,操作 步骤 如 
图 22-17 所 示 。 

访问 Jenkins 官网 手动 下 载 插件 ,将 下 载 的 插件 上 传 至 服务 器 Jenkins 根 目录 (/root) 下 
的 plugins 目录 , 即 /root/.jenkins/plugins 目录 ,重启 Jenkins 即 可 。Jenkins 插件 下 载 地 址 
为 https://wiki. jenkins-ci. org/display/JENKINS/Plugins, #3 Email-ext-Plugin 邮件 插 
件 的 方法 如 下 。 

(D F Email-ext, Token-macro, Email-template 插件 ,可 以 搜索 某 个 插件 ,输入 插件 
名 称 , 如 图 22-18 所 示 。 
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管理 Jenkins 


+, Your container doesn’t use UTF to decode URLs. If you use non-ASCII characters as a job name etc, this will cause problems. See Contain: 
for more details. 


a A Jenkins ite 亿 19.1) 可 点 击 download (SERB) Ts. 
^ FR fUenkins eit FHA EM EEA CL RISE) VERE - SEES UA PERUSE E | === | 


> ESE 
£BSBamü 


Configure Global Security 
a Secure Jenkins, define who is allowed to access/use the system 


MRE 
MF SMAFS MAL RRSSHMRETHSSAEM RAT ASFEHCARETHHSHEN IA - 


Rina 
M NUR. BARRE Jenkins DENRA- (OL PAG) 





系统 信息 
D MT PTB MR 


= PES a util. 1orrire Wee EE 


图 22-17 Jenkins 添加 新 插件 





4 全 XIB https://wiki.jenkins-ci. i.org/dosearchsite. action?queryStrin mail-ext« plugin&where 








Q Email-ext plugin Search 


Showing 1-10 of 95 for Email-ext plugin 


2 : 
i$ Email-ext Recipes 
Emailext Recipes This page is a user maintained page of recipes for various things you can do with the Emailext plugin 
for email notifications. Templates _ available at 


https //github com/jenkinsciemailextplugin/tree/master/src/main/resourc es/hudson/plugins/emailexUtemplates. 
https: //github com/jenkinsci 


Feb 25 2016 





Image Preview (5) | View All (5) 


° to configure every aspect of email notifications. You can customize when an 
‘email is sent. who should receive it, and whet the emal! says. Buld Status 


Ihttps://jenkins.ci.cloudbees.com/buildStatus/ic on?job=plugins/emailextplugin! 
https //jenkins.ci.cloudbees.com/job/plugins/job 
Jenkins Sep 24,2016 


ü I| 2olumn 


Email Ext Recipients Column Plugin This plugin allows you to add a column showing the recipients configured in 
emailextplugin for every project. Usage Create a brand new View or edit an old one and just add the column "Email Ext 
Recipients" from the list. If data cannot be obtained for a certain project, then "No data 

Jenkins Nov 20,2013 





a pla allows you to configure templates for emailext that can be reused across multiple 
jobs Check out and build How to check out the source and build git clone 


git@github.com jenkinsci/emailexttemplateplugin git cd emailexttemplateplugin mvn clean install Open Issues Version 
History 


图 22-18 Jenkins 下 载 新 插件 
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(2) Email-ext 和 Token-macro, Email-template 插件 下 载 URL 如 下 : 
https://wiki. jenkins-ci. org/display/JENKINS/Email-ext+ plugin 
https://wiki. jenkins-ci. org/display/JENKINS/ Token-- Macro-- Plugin 
https: / / wiki. jenkins-ci. org/display/JENKINS/Email-ext-- Template+ Plugin 


(3) 安装 Token-macro 插件 .如 图 22-19 Pras. 


上 传 插件 


您 可 以 通过 上 传 一 个 .hpi 文 件 来 安装 插件 


SAP [38826 | token-macro hpi 


bff 


升级 站 点 


URL | http://updates jenkins-ci.org/update-center json 





(a) Jenkins Token-macro 插 件 安装 (1) 


安装 /更 新 插件 中 


*& 
token-macro 9 安装 中 





返回 首页 
> (所 回首 使 用 已 经 安 闪 好 的 插件 ) 
D 目 支 装 寺 成 后 重启 Jenkins( 空 间 时 ) 
(b) Jenkins Token-macro 插 件 安装 (2) 


图 22-19 Jenkins Token-macro 插件 安装 


(4) 安装 Email-ext 插件 ,如 图 22-20 所 示 。 
(5) Emailext, Token-macro 和 Email-template 插件 安装 完毕 ,如 图 22-21 所 示 。 


(6) Email 插件 安装 完毕 ,在 Jenkins 主 界面 中 选择 “系统 管理 一 系统 设置 ”, 若 出 现 选 
项 Extended E-mail Notification. , 则 表示 Jenkins Email 邮件 插件 安装 完毕 ,如 图 22-22 


所 示 。 
如 需 安装 GIT、Publish Over 插件 或 者 安装 Jenkins 其 他 插件 ,与 Email 插件 安装 方法 


Bhs 
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ED 
上 传 插件 


您 可 以 通过 上 传 一 个 hpi 文件 未 安装 插件 。 





升级 站 点 


URL | http /updates jenkins-ci org/update-center json 


图 22-20 Jenkins Email-ext 插件 安装 


安装 /更 新 插件 中 


> (Ez en pususmisi) 
> 目 去 装 完 成 后 重启 Jenkins( 空 用 时 ) 





图 22-21 Jenkins 插件 安装 完毕 


Extended E-mail Notification 
SMTP server 


Default user E-mail suffix 


Default Content Type Plain Text (text/plain) 


E Use List-ID Email Header 
@ Add Precedence: bulk’ Emal Header 
Default Recipients 


Reply To List 


Emergency reroute 


图 22-22 Jenkins Email 邮件 插件 


第 22 章 ”Jenkins 持 续集 成 企业 实战 |» 425 


22.11 Jenkins 邮件 配置 


如 上 Jenkins 持续 集成 平台 配置 完毕 ,可 以 进行 网 站 代码 的 自动 更 新 .部 署 .升级 及 回 
滚 操作 ,通过 控制 台 信息 可 以 查看 每 个 JOB 工程 构建 的 状态 。 

如 果 网 站 项 目 很 多 , 人工 去 查看 状态 不 可 取 , 可 以 借助 Jenkins Email 插件 实现 网 站 构 
建 完成 ,自动 发 送 邮 件 给 相应 的 开发 人 员 、 运 维 人 员 或 者 测试 人 员 。jJenkins 发 送 邮 件 , 需 安 
装 Email 邮件 插件 : Email-ext, Token-macro 和 Email-template, Jenkins Email 邮件 配置 常 
WE BOF A OF 

a SMTP server; 邮件 服务 器 地 址 。 
Default Content Type: 内 容 展 现 的 格式 ,一 般 选择 HTML, 
Default Recipients: 默认 收 件 人 。 
Use SMTP Authentication: 使 用 SMTP 身份 验证 。 
User Name: 邮件 发 送 账户 的 用 户 名 。 
Password: 邮件 发 送 账 户 的 密码 。 
SMTP port: SMTP 服务 器 端口 。 

Jenkins Email 邮件 配置 方法 如 下 : 

CD BE Jenkins 邮件 发 送 者 ,在 Jenkins 平台 首页 中 选择 “系统 管理 一 系统 设置 一 
Jenkins Location”, 填 写 Jenkins URL 与 系统 管理 员 邮 件 地 址 ,如 图 22-23 所 示 。 

(2) 设置 发 送 邮 件 的 SMTP 服务 器 、 邮 箱 后 级 ,发 送 类 型 HTML ,接收 者 或 者 抄 送 者 ， 
在 Jenkins 平台 首 页 中 选择 “系统 管理 一 系统 设置 一 Extended E-mail Notification" ,填写 如 


00 oo D DO 


Jenkins » 

rm " 

& s^ 管理 Jenkins 

= 任务 历史 A Your borer anal er 8 to decode URLs. If yo 
Ji 

Q, 项 目 关系 Cra 

AZ, 检查 文件 指纹 a poe Da 人 可 点 击 de (这 更 说 明 ) 下 载 





以 你 的 身份 访问 程序 ， 






Xx Sank 
ERGERE 


Configure Global Secunty 
构建 队列 a Secure Jenkins; define who is allowed to acce 
队列 中 受 有 构 于 任务 £M zvon 
MS SE rh BOE EHANET h 
furti - f. sesa 


(a) Jenkins Email 邮件 设置 (1) 


图 22-23 Jenkins Email 邮件 设置 
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Maven RE RE 
全 局 MAVEN_OPTS 
Local Mavan Repository Default (~/ m2irepository) 


@ Help make Jenkins better by sending anonymous usage statistics and crash reports to the Jenkins project. 







http.//121.42 183 93 7001/ 





SSHD Port Onenn [P] mnn Oum 


(b) Jenkins Email 邮件 设置 (2) 
图 22-23 (BE) 


图 22-24 所 示 的 选项 ,包括 SMTP server RUJA H. (EJH SMTP 认证 .Default Recipients 邮 
件 接收 入 等 信息 。 


Extended F mail Notification 
SMTP server 
“L= i 
F Use SMTP Authentication 
|User Name — 
Passwort pem 
Use SSL a 
SMTP pon 
Oranet [7 
Dist Content Type HTML en . 


© Use List-ID Email Header 
站 Add Precedence: bulk Emal Header 


Reply To List 


图 22-24 Jenkins Email 邮件 配置 


(3) 设置 邮件 的 标题 Default Subject 内 容 如 下 : 
构建 通知 : $ PROJECT_NAME -Build # $ BUILD NUMBER - $ BUILD STATUS 
(4) 设置 发 送 邮件 的 内 容 ,Default Content 内 容 如 下 : 


<hr/> 

<h3>( 本 邮件 是 程序 自动 下 发 的 , 请 勿 回复 !)</h3 >< hr/> 
项 目 名 称 : SPROJECT NAME < br/>< hr/> 

构建 编号 : SBUILD_NUMBER < br/><hr/> 

构建 状态 : SBUILD STATUS < br/><hr/> 

: ${CAUSE}<br/><hr/> 
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构建 日 志 地 址 : <a href =" ${BUILD URL) console"» $ (BUILD URL}console </a><br/><hr/> 
构建 地 址 : <a href = " $BUILD_URL"> $BUILD URL «/a >< br/>< hr/» 

变更 集 : S(JELLY SCRIPT, template = "htnl"]« br/> 

<hr/> 


(5) 每 个 JOB 工程 邮件 设置 , 单 击 www. jfedu. net JOB 名 称 ,选择 “配置 一 构建 后 操作 一 
Editable Email Notification”, 如 下 信息 保持 默认 ,如 图 22-25 所 示 。 
Li ds 


Editable Email Notification 
Disable Extended Emal Publisher t 
Allows Ine user to disable he publisher while maintaining the setbngs. 
Pret Resipi Uat SDEFAULT_RECIPIENTS 


Comma-separated list of email address that should receve notf^cabons for ths project 
Project Hasc Lo SDEFAULT. REPLYTO 


Comma-separated list of email address that should be in the Reply-To header for fnis project 


Cuan Type Default Content Type 
Dainai Subject SDEFAULT. SUBJECT 
Default Content 


SDEFAULT CONTENT 
图 22-25 Jenkins Email JOB 邮件 模板 配置 


(6) 选择 Advanced Settings. VETE Trigger 阔 值 ,选择 发 送 邮件 的 触发 器 ,默认 和 触发 器 
包括 第 一 次 构建 ,构建 失败 ,总 是 发 送 邮件 ,构建 成 功 等 ,一 般 选 择 always 总 是 发 送 邮件 ,发 
送 给 developers 组 ,如 图 22-26 所 示 。 

Additional groevy classpath mu 


Triggers 





‘Ada Trigger ~ 


22-26 Jenkins Email 触发 器 设置 
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1 doc/TestResult. xlsx 

: doc/ KAF FSA FA_1.0, 

: META-INF/naver/ 

: META-INF/maver/ con. shar eku/ 

: META-INF/naven/ com. shar eku/ edu/ 

: META-INF/maver/ con. shareku/ edu/pon. xal 

: META-INF/maver/ com. shareku/edu/pon. properties 
+ cd /usr/1ocal/toncat2/ 
bash: 第 30 行 :cd: /usr/local/temcat2/: 没有 那个 文件 或 目录 
+ rn -rf work 
+ /bir/ sh /usr/local/toncat2/ /bin/ startup 
bay sl /local/tomcat2//bin/startup.sh: 没有 那个 文件 或 目录 
Build step 'Execute shell' marked build as failure 
Archiving artifacts 
ail vas triggered for: Alvays 
Sending email for trigger: Alvays 
Sending email to: wikgoodél63. com 
Finished: FAILURE 



















(a) Jenkins EJ Ht Et fi 22 006 f 





#30-Failure NFOS 





构建 通知 : www.jfedu.net - Bui 
ELA. hkgood<hkgood @jfedunet> 





(本 邮件 是 程序 自动 下 发 的 ， 请 勿 回复 ! ) 





项 目 名 称 : Wwwjiedu net 





构建 编号 : 30 
构建 状态 : Fallure 


BARA : Started by user anonymous 
(b) Jenkins Email 邮件 信息 (1) 


Build URL mn 71217001 
Project www jfedu net 

Date of build: Sun, 04 Jun 2017 21:41:07 +0800 
Build duration: 1 分 50 


CHANGES 


No Changes 


BUILD ARTIFACTS 


* largetedu war 


BUILD ARTIFACTS 


* comsharekwedu/0 0 1-SNAPSHOT/edu-0 0 1-SNAPSHOT.pom 
*  comshareku/edu/D 0 1-SNAPSHOT/edu-0 0 1-SNAPSHOT war 





(c) Jenkins Email 邮件 信息 (2) 


图 22-27 Jenkins Email 邮件 信息 
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22.12 Jenkins 多 实例 配置 


单 台 Jenkins 服务 器 可 以 满足 企业 测试 及 生产 环境 。 如 果 每 天 更 新 发 布 多 个 Web 网 
站 ,Jenkins 需要 同时 处 理 很 多 的 任务 。 

基于 Jenkins 分 布 式 , 即 多 slave 方式 可 以 缓解 Jenkins 服务 器 的 压力 ,Jenkins 多 实例 
架构 如 图 22-28 所 示 , 可 以 在 Windows, Linux, MAC 等 操作 系统 上 执行 slave。 

Jenkins 多 slave 原理 是 将 原本 
在 Jenkins master 端的 构建 项 目 分 配 
给 slave 端 去 执行 ,Jenkins master 分 
配 任务 时 ,Jenkins master 端 通过 SSH 
远程 slave, 在 slave 端 启 动 slave. jar 程 
序 , 通 过 slave. jar 实现 对 网 站 工程 的 
构建 编译 以 及 自动 部 署 。 所 以 在 slave | Windows Linux UNIX MAC 
端 服务 器 必须 安装 Java JDK 环境 来 执 slave slave slave slaver 
fT master 端 分 配 的 构建 任务 。 配 置 多 图 22-28 Jenkins slave 架构 图 
slave 服务 器 方法 和 步骤 如 下 : 

(1) 在 slave 服务 器 ,创建 远程 执行 Jenkins 任务 的 用 户 ,名 称 为 jenkins,Jenkins 工作 目 
录 /home/Jenkins,Jenkins master 免 秘 钥 登 录 slave 服务 器 或 者 通过 用 户 名 和 密码 登录 slave, 

(2) slave 服务 器 安装 Java JDK 版 本 ,并 将 其 软件 路 径 加 入 系统 环境 变量 。 

(3) Jenkins master 端 平台 添加 管理 节点 ,依次 选择 "系统 管理 一 管理 节点 一 新 建 节点 一 
输入 节点 名 称 ”, 如 图 22-29 所 示 。 


http/https http/https 











mem 
+. Jenkins #0 # (2.32.1046; download (RE 
xum A 不 安全 的 Jenkins 人 允许 同 结 上 的 任何 人 以 作 的 身 1 
B Crecentiats e" 
S EIL 

构建 队列 - 

Configure Global Ses unts 
DELLI | à Secure Jerkcrn, define who n alos 
BRANKS - ex 站 请 当前 内 存 中 所 有 的 设置 位 本 并 人 
120 
ES LEGIT" 

B “= 
BTAUTRERUNDRTION- 


System Log 


BASEL E M corn uti. logging 


Aniti 
GESNASHAAR GEEN 





(a) 系统 管理 、 管 理 节点 


图 22-29 Jenkins slave 配置 
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会 运 回 s eh. Architecture Clock Difference 
^ master Linux (amd64) n sync 
LELi d "52 "52 





队列 中 没有 构建 任务 


(b) 新 建 节点 


$ Jenkins 



















è 返回 节点 名 称 www slave 
LLLI © Dumb Slave 
B vs s 

Z EB 

构建 队列 E OK 

Ash Baa: 

pranta E 


(c) 输入 节点 名 称 
图 22-29 (4D 
(4) 配置 www_slave 节点 ,指定 其 Jenkins 编译 工作 目录 ,设置 IP 地 址 ,在 Add 
Credentials 界面 中 添加 登录 slave 用 户 名 和 密码 ,如 30 所 示 。 





ww siave 
mit 
of executors [7 
BHIOBR sores 
"x 
Ra E TTE Jn 
in Launch slave agents on Unx machines via SSH Hm 
Host 12142 183.93 
Credentials rar 一 no ‘ 





(a) 配置 www_slave 节 


图 22-30 Jenkins slave 配置 
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(b) 添加 登录 slave 用 户 名 和 密码 
图 22-30 (4D 


(5) Jenkins slave 配置 完毕 ,查看 slave 状态 如 图 22-31 所 示 。 














S 名 称 | Architecture Clock Difference Free Disk Space Free Swap Space Free Temp Space F 

. master Linux (amd64) In sync 1424 GB oos 1424 GB 

m, www slave NA NA NA NA 
获取 到 的 数据 152 252 152 1552 2552 








图 22-31 Jenkins slave 状态 信息 


(6) Hl www slave 节点 ,然后 选择 Launch salve agent. "fif; ill iX slave agent 是 否 正 
常 工作 ,如 图 22-32 所 示 。 


= Slave www_slave 


° This node is offline because Jenkins failed to launch the slave agent on it. See log for more details 


Created by anonymous user 


关联 到 www_slave 的 项 目 
无 
图 22-32 Jenkins slave agent 测试 
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(7) 出 现 如 图 22-33 所 示 的 界面 ' 即 证 明 slave 添加 成 功 。 


[01/08/17 16:34:48] [SSH] Opening SSH connection to 121.42. 183, 93:22. 
[01/08/17 16:34:48] [SSH] Authentication successful. 
:48] [SSH] The remote users envirorment is: 






BASH ALIASES-O 


BASH CMDS=() 

BASH EXECUTION STRIN;-set 

BASH. LINEND- 

BASH SOURCE- () 

BASH VERSINFO=((0]="4" [1]-"1* [2]-*2" [3]-"1" [4]="release” [5]-"x86 64-redhat-limue-gmi) 
BASH VERSION-' 4. 1. 2 (1)- release" 


G BROKEN FILERUES- 1 

HOME=/root 

HOSTNAME=BeiJ ing-JFEDU-NET-VEB-001. COM 
HOSTTYPE=x86_64 


LANG=en_US. UTF-8 


Dd 


(a) Jenkins slave 测 试 (1) 


PIPESTATUS- ((0]="0") 

PPID-5325 

Paz +’ 

PYWD=/ root 

SHELL=/bir/bash 

SHELLOP TS=braceexpand:hashall zint eractive-conment s 
SHLVL=1 

SSH_CLIENT=" 139, 224. 227.121 21604 22" 
‘SSH_CONNECTION=" 139, 224. 227.121 21604 121.42. 183.93 22" 
TERM dmb 

UD=0 

USER-root 

Af etc/bashrc. 

[01/08/17 16:34:48] [SSH] Starting sftp client. 
[01/08/17 16:34:48] [SSH] Remote file system root /home/jenkins does not exist. Will try to create it... 
[01/08/17 16:34:48] [SSH] Copying latest slave. jar... 
[01/08/17 16:34:51] [SSH] Copied 522,364 bytes. 
Expanded the channel window size to 4MB 

(01/08/17 16:34:51] [SSH] Starting slave process: cd "/home/jenkins" && /usr/java/jdkl. T. 25/bin/java -jar slave. jar 
<==(JENKINS REMDTIN; CAPACITY]——»^channel started 
Slave. jar version: 2,57 

This is a Unix slave 

» 


(b) Jenkins slave 测 试 (2) 


图 22-33 Jenkins slave 测试 


(8) 如 上 配置 完毕 ,Jenkins master 通过 SSH 方式 来 启动 slave 的 slave. jar 脚本 ,基于 
Java 命令 启动 slave. jar 包 , 命 令 为 java -jar slave. jar. slave 等 待 master 端的 任务 分 配 , 单 
it www. jfedu. net, 然 后 选择 “立即 构建 ”, 如 图 22-34 所 示 。 

(9) Jenkins slave 配置 完毕 后 ,如 果 同 时 运行 多 个 任务 ,会 发 现 只 会 运行 一 个 任务 , 另 
外 的 任务 在 等 待 . 那 需要 怎么 调整 呢 ? 此 时 需要 配置 JOB 工程 ,选中 “在 必要 的 时 候 并 发 构 
建 ”" 即 可 ,如 图 22-35 所 示 。 
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Jenkins » 


€ 新 建 

& n^ 
PEL 
H FREE 
A Credentials 





构建 队列 一 
队列 中 没有 构建 任务 





图 22-34 Jenkins slave 构建 任务 





项 目 名 称 www jfedu.net 
mt www jfedu net 
[Plain text] A mE 
G 委 弃 旧 的 构建 
B 参数 化 构建 过 程 


Ü 关闭 构建 (重新 开启 构建 前 不 允许 进行 新 的 构建 ) 


| 在 必要 的 时 候 并 发 构建 


E Restrict where this project can be run 
高 级 项 目 选项 


(a) 选中 “在 必要 的 时 候 并 发 构建 ” 
图 22-35 Jenkins slave 构建 多 任务 
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& == su 
B uspe 
X rime 
Q Credentials 


构建 队列 - 
队列 中 没有 构建 任务 


— . au 
#16 


' gister, sm a 
(b) 多 任务 并 发 构建 
图 22-35 (4D 


22.13 Jenkins * Ansible 高 并 发 构建 


Jenkins 自动 部 署 基于 shell 十 for 循环 方式 部 署 10 台 以 下 的 Java 服务 器 ,效率 是 可 以 
接受 的 ,但 是 如 果 大 规模 服务 器 需要 部 署 或 者 更 新 网 站 ,通过 for 循环 串 行 执行 效率 会 大 打 
折扣 ,所 以 需要 考虑 到 并 行 机 制 。 

Ansible 是 一 款 极为 灵活 的 开源 工具 套件 ,能 够 大 大 简化 UNIX 管理 员 的 自动 化 配置 
管理 与 流程 控制 方式 。 它 利用 推送 方式 对 客户 系统 加 以 配置 ,这 样 所 有 工作 都 可 在 主 服务 
器 端 完 成 。 使 用 Ansible+ Jenkins 架构 方式 实现 网 站 自动 部 署 ,满足 上 百 台 、 千 台 服务 器 的 
网 站 部 署 和 更 新 。 

Ansible 服务 需要 部 署 在 Jenkins 服务 器 ,客户 端 无 须 安装 Ansible。Ansible 基于 SSH 
工作 ,所 以 需 提 前 做 好 免 秘 钥 或 者 通过 sudo 用 户 远程 更 新 网 站 。 此 处 省 略 Ansible 安装 ， 
Ansible 相关 知识 请 参考 本 书 Ansible 章节 配置 。 

Ansible 自动 部 署 网 站 有 两 种 方法 : 一 种 是 基于 Ansible 远程 执行 shell 脚本 ; 另外 一 
种 是 Ansible 编写 PlayBook 剧本 ,实现 网 站 自动 部 署 。 以 下 为 Ansible 十 shell 脚本 方式 自 
动 部 署 网 站 方法 。 

(1) Jenkins 服务 器 安装 Ansible 软件 ,Red Hat、CentOS 操作 系统 可 以 直接 基于 YUM 工 
具 自 动 安装 Ansible,CentOS 6. X 或 者 CentOS 7. X 安装 Ansible 前 , 需 先 安装 epe 扩展 源 , 代 
码 如 下 : 

rpm - Uvh http://mirrors. ustc. edu. cn/fedora/epel/6/x86 64/epel- release - 6 — 8. noarch. rpm 


yum install epel- release 一 了 
yum install ansible -y 
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(2) 添加 客户 端 服 务 器 ,在 /etc/ansible/hosts 中 添加 需要 部 署 的 客户 端 IP 列表 ,代码 
如 下 : 


[www_jfedu] 

139.199.228.59 
139.199. 228.60 
139.199. 228.61 
139.199. 228.62 


(3) fE Jenkins 平台 首页 中 单 击 www. jfedu. net JA. i f£ " Bü É — Post Steps > 
Execute shell Command" . $f A Al F ff. www jfedu Jy Ansible hosts 组 模块 名 称 。 


cp /root/. jenkins/workspace/www. jfedu. net/target/edu. war /root/. jenkins/jobs/www. jfedu. 
net/builds/lastSuccessfulBuild/archive/target/ 

ansible www jfedu — m copy - a "src = /data/sh/auto deploy.sh dest = /tmp/" 

ansible www jfedu — m shell -a "cd /tmp ; /bin/bash auto deploy. sh" 


(4) Jenkins 服务 器 端 /data/sh/auto_deploy. sh shell 脚本 内 容 如 下 : 


#!/bin/bash 

# Auto deploy Tomcat for jenkins 

# By author jfedu. net 2017 

export JAVA HOME = /usr/java/jdk1.6.0_25 

TOMCAT PID- '/usr/sbin/lsof -n -P -t - i :8081" 
TOMCAT DIR = "/usr/local/tomcat/" 

FILES - "edu. war" 

DES DIR = "/usr/local/tomcat/webapps/ROOT/"” 

DES URL = " http://139. 224. 227. 121: 7001/job/www. jfedu. net/lastSuccessfulBuild/artifact/ 
target/" 

BAK DIR- "/export/backup/'date + %Y%m%d- %H%M'" 
[ -n"$TOMCAT PID" ] && kill -9 $TOMCAT PID 

cd $DES DIR 

rm -rf $FILES 

mkdir -p $BAK DIR; \cp -a $DES DIR/* $BAK DIR/ 
rm -rf $DES DIR/ * 

wget $DES URL/SFILES 

/usr/java/jdk1l.6.0 25/bin/jar - xvf $FILES 

并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 

cd $TOMCAT DIR; rm -rf work 

/bin/sh $TOMCAT DIR/bin/start. sh 

sleep 10 

tail -n 50 $TOMCAT DIR/logs/catalina.out 


(5) 单 击 www. jfedu. net 构建 任务 ,查看 控制 台 信息 ,如 图 22-36 所 示 。 
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(www, jfedu net] $ /bin/sh -ze /ust/local/tomcat jenkins/temp/hndson29518180343471 11274. sh 
+ cp /root/. jenkins/workspace/www. jfedu. net /t arget/edu. war /root/. jenkins/jobs/wev. jfedu net/builds/lastSuccessft 
+ ansible www jfedi -n copy -a ' src=/ data/sh/ auto. deploy. sh dest-/tmp/" 
/usr/ lib/python2, 6/ site-packages/cryptography-1.7.1-py2. 6-1inux-x86 64. egg/cryptography/ imit .py:26: Deprecati 
supported by the Python core team, please upgrade your Python. A future version of cryptography will drop support 
DeprecaticnVaming 
139. 199, 228.59 | SUCCESS => | 
“changed”: true, 
“checksum”: “2ee998fbTef482s498f1a512db913cce3e04821b”, 
: "/tnp/suto deploy.sh', 
g 











"root", 
“6271 b4d091 746545 363£ 19962072166", 
"0647, 
"root", 
715, 
*/root/. anzible/tmp/ ansible~tap- 1496687744. 11-232708497021 134/ source", 
"state": "file", 
"ud: 0 
] 
+ ansible www jfedi -ma shell -a ‘cd /tmp ;/bin/bash auto_deploy. sh’ 
/ust/lib/python2. 6/ si te-packages/cryptography-1. T. 1-py2. 6-linux-x86 64. egg/cryptography/ init .py:26: Deprecati 
supported by the Python core tem, please upgrade your Python. A future version of cryptography will drop support 
Deprecatianfamning 
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2017-06-04 22:50:42 (270 KB/s) - 已 保存 “edu.war” [25900686/25900686]) 
Archiving artifacts 

Email was triggered for: Always 

Sending email for trigger: Always 

Sending email to: wgkgoodèl 63. com 

Finished: SUCCESS 
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23.1 keepalived 高 可 用 软件 简介 


目前 互联 网 主流 的 实现 Web 网 站 及 数据 库 服务 高 可 用 软件 包括 : keepalived, heartbeat 
等 。heartbeat 是 比较 早期 的 实现 高 可 用 软件 ,而 keepalived 是 目前 轻 量 级 的 管理 方便 、 易 
用 的 高 可 用 软件 解决 方案 ,得 到 互联 网 公司 IT 人 的 青睐 。 

keepalived 是 一 个 类 似 于 工作 在 layer3、4 和 7 交换 机 制 的 软件 ,keepalived 软件 有 两 种 

功能 ,分 别 是 监控 检查 、VRRP 宛 余 协议 。 

keepalived 的 作用 是 检测 Web 服务 器 的 状态 ,如 果 有 一 台 Web 服务 器 、MySQL 服务 器 宕 

机 或 工作 出 现 故障 ,keepalived 将 检测 到 后 ,会 将 故障 的 Web 服务 器 或 者 MySQL 服务 器 从 系 
统 中 剔除 , 当 服 务 器 工作 正常 后 keepalived 自动 将 Web, MySQL 服务 器 加 入 到 服务 器 群 中 ,这 
些 工 作 全 部 自动 完成 ,不 需要 人 工 干 涉 ,需要 人 工 做 的 只 是 修复 故障 的 Web 和 MySQL 服务 
fit. layer3,4 和 7 工作 在 IP/TCP 协议 栈 的 全 层 ,传输 层 及 应 用 层 ,实现 原理 分 别 如 下 : 

口 layer3: keepalived 使 用 layer3 的 方式 工作 式 时 ,keepalived 会 定期 向 服务 器 群 中 的 
服务 器 发 送 一 个 ICMP 的 数据 包 , 如 果 发 现 某 台 服 务 的 IP 地 址 无 法 ping 通 ， 
keepalived 便 报 告 这 台 服 务 器 失效 ,并 将 它 从 服务 器 集群 中 剔除 。layer3 的 方式 是 
以 服务 器 的 IP 地 址 是 否 有 效 作为 服务 器 工作 正常 与 否 的 标准 。 

a layer4: layer4 主要 以 TCP 端口 的 状态 来 决定 服务 器 工作 正常 与 否 。 如 Web server 
的 服务 端口 一 般 是 80 ,如果 keepalived 检测 到 80 端口 没有 启动 , 则 keepalived 将 把 
这 台 服 务 器 从 服务 器 群 中 剔除 。 

口 layer7: layer? 工作 在 应 用 层 ,keepalived 将 根据 用 户 的 设 定 检查 服务 器 程序 的 运行 
是 否 正常 ,如 果 与 用 户 的 设 定 不 相符 , 则 keepalived 将 把 服务 器 从 服务 器 群 中 剔除 。 


23.2 keepalived VRRP 原理 剖析 





keepalived 是 VRRP 的 完美 实现 ,在 学 习 keepalived 之 前 ,必须 了 解 VRRP 协议 的 原 
理 。 在 现实 的 网 络 环境 中 ,两 台 需 要 通信 的 主机 大 多 数 情况 下 并 没有 直接 的 物理 连接 。 对 
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于 这 样 的 情况 ,它们 之 间 的 路 由 是 怎样 选择 的 呢 ? 主 机 如 何 选 定 到 达 目 的 主机 的 下 一 跳 路 
由 ,这 个 问题 通常 的 解决 方法 有 以 下 两 种 : 

a 在 主机 上 使 用 动态 路 由 协议 RIP、OSPF; 

a 在 主机 上 配置 静态 路 由 。 

在 主机 上 配置 动态 路 由 是 非常 不 切实 际 的 ,因为 管理 ,维护 成 本 以 及 是 否 支 持 等 诸多 问 
题 。 因 此 配置 静态 路 由 就 变 得 十 分 流行 ,但 路 由 器 或 者 默认 网 关 (default gateway) 却 经 常 
成 为 单 点 ,VRRP 的 目的 就 是 为 了 解决 静态 路 由 单 点 问题 。VRRP 通过 一 竞选 (election) 协 
议 来 动态 地 将 路 由 任务 交 给 LAN 中 虚拟 路 由 器 中 的 某 台 VRRP 路 由 器 。 

在 VRRP 虚拟 路 由 器 集群 中 ,由 多 台 物 理 的 路 由 器 组 成 ,但 是 这 多 台 的 物理 路 由 器 并 
不 能 同时 工作 ,而 是 由 一 台 称 为 master 路 由 器 负责 路 由 工作 ,其 他 的 都 是 backup. master 
并 非 一 成 不 变 ,VRRP 会 让 每 个 VRRP 路 由 器 参与 竞选 ,最 终 获 胜 的 就 是 master。 

Master 拥有 一 些 特权 ,例如 拥有 虚拟 路 由 器 的 IP 地址 ,也 即 VIP, 拥 有 特权 的 master 
要 负责 转发 给 网 关 地 址 的 包 和 响应 ARP 请 求 。 

VRRP 通过 竞选 协议 来 实现 虚拟 路 由 器 的 功能 ,所 有 的 协议 报 文 都 是 通过 IP 多 播 
(multicast) 包 (多 播 地 址 224. 0. 0. 18) 形 式 发 送 的 。 虚 拟 路 由 器 由 VRID( 范 围 0 一 255) 和 
一 组 IP 地 址 组 成 ,对 外 表现 为 一 个 周知 的 MAC 地 址 。 所 以 在 一 组 虚拟 路 由 器 集群 中 ,不 
管 谁 是 master, 对 外 都 是 相同 的 MAC 和 VIP。 客 户 端 主机 并 不 需要 因为 master 的 改变 而 
修改 自己 的 路 由 配置 。 

作为 master 的 VRRP 路 由 器 会 一 直 发 送 VRRP 广播 包 (VRRP advertisement message) . 
backup 不 会 抢占 master, 除 非 它 的 优先 级 (priority) 更 高 。 当 master 不 可 用 时 (backup 收 
不 到 广播 包 ) ,多 台 backup 中 优先 级 最 高 的 这 台 会 抢占 为 master。 这 种 抢占 是 非常 快速 
的 ,以 保证 服务 的 连续 性 。 从 安全 性 考虑 VRRP 包 使 用 了 加 密 协 议 进 行 传输 。 

keepalived 基于 VRRP 技术 ,将 两 台 物 理 主机 当成 路 由 器 ,两 台 物理 机 主机 组 成 一 个 虚 
拟 路 由 集群 ,master 高 的 主机 产生 VIP. iz VIP 负责 转发 用 户 发 起 的 IP 包 或 者 负责 处 理 用 
户 的 请 求 , Nginx 十 keepalived 组 合 , 用 户 的 请 求 直 接 访 问 keepalived VIP 地 址 ,然后 访问 
master 相应 服务 和 端口 。 


23.3 ”企业 级 Nginx + keepalived 集群 实战 


随 着 Nginx 在 国内 的 发 展 潮流 , 越 来 越 多 的 互联 网 公司 都 在 使 用 Nginx, Nginx 的 高 性 
能 、 稳 定性 成 为 IT 人 士 青睐 的 HTTP 和 反 向 代理 服务 器 。 

Nginx 负载 均衡 一 般 位 于 整个 网 站 架构 的 最 前 端 或 者 中 间 层 ,如 果 为 最 前 端 时 单 台 
Nginx 会 存在 单 点 故障 ,一 台 Nginx 宕 机 ,会 影响 用 户 对 整个 网 站 的 访问 。 所 以 需要 加 入 
Nginx 备份 服务 器 , Nginx 主 服务 器 与 备份 服务 器 之 间 形 成 高 可 用 ,一 旦 发 现 Nginx 主 宕 
机 ,能 快速 将 网 站 切换 至 备份 服务 器 。Nginx 十 keepalived 网 络 架 构 如 图 23-1 所 示 。 

Nginx 十 keepalived 高 性 能 Web 网 络 架 构 实 战 配置 步骤 如 下 。 
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192.168.33.10 





192.168.33.8 






R : 
192.168.33.20 192.168.33.21 192.168.33.22 192.168.33.23 
图 23-] Nginx+keepalived 架构 图 


A) 环境 准备 ,具体 内 容 如 下 : 
Q Nginx 版 本 : nginx v1. 12.0。 
keepalived 版 本 : keepalived v1. 2. 1 。 
a Nginx-1: 192. 168.33.8(master) 。 
a Nginx-2: 192. 168. 33. 10(backup) 。 
(2) Nginx 安装 配置 ,master 和 backup 服务 器 安装 Nginx, keepalived. 执行 命令 yum 
install -y pere-devel 安装 Perl 兼容 的 正则 表达 式 库 . 代 码 如 下 : 


D 


tar - xzf nginx- 1.12.0.tar.gz 

cd nginx- 1.12.0 

sed - i -e's/1.12.0//g' -e 's/nginx\//TDTWS/g' - e 's/"NGINX"/"TDTWS"/g' src/core/nginx.h 
./configure -- prefix = /usr/local/nginx -- user = www -- group = www -- with- http stub 
status module —— with- http ssl module 

make 

make install 


(3) keepalived 安装 配置 ,代码 如 下 : 


tar - xzvf keepalived- 1.2.1.tar.gz 

cd keepalived- 1.2.1 

./configure 

make 

make install 

DIR = /usr/local/ 

cp $DIR/etc/re. d/init.d/keepalived /etc/rc. d/init. d/ 
cp $DIR/etc/sysconfig/keepalived ^ /etc/sysconfig/ 
mkdir - p /etc/keepalived 

cp $DIR/sbin/keepalived /usr/sbin/ 
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(4) 配置 keepalived, 两 台 服务 器 keepalived. conf 内 容 都 配置 如 下 ,state 均 设置 为 
BACKUP, backup 服务 器 需要 修改 优先 级 为 90, 代 码 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
support@ jfedu. net 


notification email from wgkgood@ 163. com 
smtp server 127.0.0.1 

smtp connect timeout 30 

router id LVS DEVEL 


vrrp script chk nginx { 
script "/data/sh/check nginx. sh" 
interval 2 
weight 2 
) 
# VIPl 
vrrp instance VI 1 ( 
state BACKUP 
interface eth0 
lvs sync daemon inteface ethO 
virtual router id 151 
priority 100 
advert int 5 
nopreempt 
authentication { 
auth_type PASS 
auth_pass 1111 


) 


virtual ipaddress { 
192.168.33.188 
) 


track script ( 
chk nginx 


) 


如 上 配置 还 需要 建立 check nginx 脚本 ,用 于 检查 本 地 Nginx 是 否 存 活 , 如 果 不 存 活 ， 
则 stop keepalived 服务 实现 切换 。 其 中 check_nginx. sh 脚本 内 容 如 下 : 
#!/bin/bash 


# auto check nginx process 
#2017 - 5- 26 17:47:12 
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井 by author jfedu. net 
killall -0 nginx 
if [[ $? -ne 0 ]]; then 
/etc/ init.d/keepalived stop 
fi 


在 两 台 Nginx 服务 器 发 布 目录 分 别 新 建 index. html 测试 页 面 , 然 后 启动 Nginx 服务 测 
试 , 访 问 VIP 地 址 , 即 访问 http://192.168. 33. 188 即 可 。 





28.4 企业 级 Nginx + keepalived 双 主 架构 实战 


Nginx 十 keepalived 主 备 模式 ,始终 存在 一 台 服 务 器 处 于 空闲 状态 ,如 何 更 好 地 把 两 台 
服务 器 利用 起 来 呢 , 可 以 借助 Nginx 十 keepalived 双 主 架构 来 实现 ,如 图 23-2 所 示 ,将 架构 
BUR Nginx 双 主 架构 ,同时 两 台 对 外 提供 服务 ,拥有 两 个 VIP 地 址 ,同时 接收 用 户 的 请 求 。 





192.168.33.8 192.168.33.10 





192.168.33.20 192.168.33.21 192.168.33.22 192.168.33.23 
图 23-2 Nginx+keepalived 双 主 架构 


Nginx 十 keepalived 双 主 架构 实现 方法 步骤 如 下 : 
(1) masterl 上 keepalived. conf 配置 文件 内 容 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
wgkgood@ 163. com 

} 
notification email from wgkgood(G 163. com 
sntp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 

} 


vrrp_script chk_nginx { 
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script "/data/sh/check nginx. sh" 
interval 2 
weight 2 
) 
# VIPl 
vrrp instance VI 1 { 
state MASTER 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 151 
priority 100 
advert int 5 
nopreempt 
authentication { 
auth_type PASS 
auth_pass 1111 
) 
virtual ipaddress { 
192.168.33.188 
) 
track script ( 
chk nginx 


) 
+ VIP2 
vrrp instance VI 2 ( 

state BACKUP 

interface eth0 

lvs sync daemon inteface eth0 

virtual router id 152 

priority 90 

advert int 5 

nopreempt 

authentication { 
auth_type PASS 
auth_pass 2222 

} 

virtual_ipaddress { 
192.168. 33.199 

} 

track_script { 

chk_nginx 

} 


382338 


(2) master2 上 keepalived. conf 配置 文件 内 容 如 下 : 


! Configuration File for keepalived 
global defs { 


) 


notification email { 


wgkgood@ 163. com 


notification email from wgkgood@ 163.com 
smtp server 127.0.0.1 

smtp connect timeout 30 

router id LVS DEVEL 


vrrp script chk nginx { 


) 


script "/data/sh/check nginx. sh" 
interval 2 
weight 2 


# VIPl 
vrrp instance VI 1 ( 


) 


state BACKUP 

interface eth0 

lvs sync daemon inteface eth0 

virtual router id 151 

priority 90 

advert int 5 

nopreempt 

authentication ( 
auth type PASS 
auth pass 1111 

) 

virtual ipaddress { 
192.168.33.188 

) 

track script { 

chk nginx 


* VIP2 
vrrp instance VI 2 { 


state MASTER 

interface eth0 

lvs sync daemon inteface eth0 
virtual router id 152 
priority 100 

advert int 5 
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nopreempt 

authentication { 
auth_type PASS 
auth pass 2222 

) 

virtual ipaddress ( 
192.168.33.199 

) 

track script { 

chk nginx 


) 
(3) WG Nginx 服务 器 上 配置 /data/sh/check_nginx. sh 脚本 ,内 容 如 下 : 


#1!1/bin/bash 

#auto check nginx process 
killall -0 nginx 

if 

[[ $? -ne0 ]]; then 
/etc/init. d/keepalived stop 
fi 


(4) 如 图 23-3 BE ,两 个 VIP 在 一 台 服 务 器 .由 于 另外 一 台 服 务 器 DOWN 机 ,VIP 都 
漂移 到 本 机 网 卡 下 





图 23-3 VIP 漂移 在 单 台 服务 器 


(5) Nginx 十 keepalived 双 主 企业 架构 ,在 日 常 维护 及 管理 过 程 中 需要 以 下 几 个 方面 : 

Q keepalived 主 配置 文件 必须 设置 不 同 的 VRRP 名称. 同时 优先 级 和 VIP 设置 也 各 不 
相同 。 

a Nginx 网 站 总 访问 量 为 两 台 Nginx 服务 器 访问 之 和 .可 以 写 脚 本 自动 统计 访问 量 。 

a 两 台 Nginx 为 master, 存 在 两 个 VIP 地 址 ,用户 从 外 网 访问 VIP, 需 配置 域名 映射 到 
两 个 VIP 上 方 即 可 。 

a 通过 外 网 DNS 映射 不 同 VIP 的 方法 也 称 为 DNS 负载 均衡 模式 。 

可 以 通过 Zabbix 实时 监控 VIP 访问 状态 是 否 正 常 。 


D 
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23.5 Redis + keepalived 高 可 用 集群 实战 


Redis 主 从 复制 优点 及 应 用 场景 ,Web 应 用 程序 可 以 基于 主 从 同步 实现 读 写 分 离 以 提 
高 服务 器 的 负载 能 力 。 

在 常见 的 场景 中 , 读 的 频率 一 般 比 较 大 , 当 单机 Redis 无 法 应 对 大 量 的 读 请 求 时 ,可 以 
通过 复制 功能 建立 多 个 从 数据 库 , 主 数据 库 只 进行 写 操作 ,而 从 数据 库 负责 读 操作 ,基于 
Redis 十 keepalived 对 Redis 实现 高 可 用 ,保证 网 站 正常 访问 。 以 下 为 Redis 十 keepalived 高 

(1) Redis 主 库 , 从 库 分 别 安装 keepalived 服务 ,代码 如 下 : 


tar - xzvf keepalived- 1.2.1.tar.gz 

cd keepalived- 1.2.1 

. configure 

make 

make install 

DIR = /usr/local/ 

cp $DIR/etc/rc. d/init.d/keepalived /etc/rc. d/init. d/ 
cp $DIR/etc/sysconfig/keepalived ^ /etc/sysconfig/ 
mkdir - p /etc/keepalived 

cp $DIR/sbin/keepalived /usr/sbin/ 


(2) Redis-- keepalived master 配置 文件 代码 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
wgkgood@ 163. com 


notification email from wgkgood@163. com 
smtp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
) 
vrrp script chk redis { 
script "/data/sh/check redis. sh" 
interval 2 
weight 2 
} 
# VIPl 
vrrp instance VI_1 { 
state MASTER 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 151 
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priority 100 

advert int 5 

nopreempt 

authentication { 
auth_type PASS 
auth_pass 1111 

} 

virtual_ipaddress { 
192.168. 33.188 

} 

track_script { 

chk_redis 


) 
(3) Redis-- keepalived backup 配置 文件 代码 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
wgkgood@ 163. com 


notification email from wgkgood@ 163. com 
smtp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
) 
vrrp script chk redis { 
Script "/data/sh/check redis. sh" 
interval 2 
weight 2 
) 
# VIP1 
vrrp instance VI 1 ( 
state BACKUP 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 151 
priority 90 
advert int 5 
nopreempt 
authentication { 
auth type PASS 
auth pass 1111 
} 
virtual_ipaddress { 
192.168. 33.188 
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} 
track script { 
chk redis 
) 
) 


(4) 两 台 Redis 服务 器 上 配置 /data/sh/check_redis. sh 脚本 ,内容 如 下 : 
#!/bin/bash 


# auto check redis process 
NUM = 'ps -ef |grep redis|grep - v grep|grep - v check|wc - 1' 
if 
[[ $NUM - eq 0 ]];then 
/etc/init.d/keepalived stop 
fi 


23.6 NFS- keepalived 高 可 用 集群 实战 


NFS(network file system) 是 一 个 网 络 文件 系统 ,是 Linux 系统 直接 支持 文件 共享 的 一 
个 文件 系统 , 它 允 许 网 络 中 的 计算 机 之 间 通 过 TCP/IP 网 络 共享 资源 。 在 NFS 的 应 用 中 ， 
本 地 NFS 的 客户 端 应 用 可 以 透明 地 读 写 位 于 远 端 NFS 服务 器 上 的 文件 ,就 像 访问 本 地 文 
件 一 样 。 一 般 NFS 为 单机 部 署 ,而 NFS 服务 器 主要 用 于 存放 企业 重要 数据 ,此 时 为 了 保证 
数据 的 安全 可 靠 , 需 要 对 NFS 服务 器 之 间 实 现 同步 。NFS 十 keepalived 高 可 用 满足 企业 业 
务 需求 ,以 下 为 NFS 十 keepalived 高 可 用 架构 实现 步骤 。 

(1) NFS 主 和 备 分 别 安装 keepalived 服务 ,代码 如 下 : 


tar - xzvf keepalived- 1.2.1.tar.gz 

cd keepalived- 1.2.1 

./configure 

make 

make install 

DIR = /usr/local/ 

cp $DIR/etc/rc. d/init.d/keepalived /etc/rc. d/init.d/ 
cp $DIR/etc/sysconfig/keepalived ^ /etc/sysconfig/ 
mkdir - p /etc/keepalived 

cp — $DIR/sbin/keepalived /usr/sbin/ 


(2) NFS--keepalived master 配置 文件 代码 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
wgkgood@ 163. com 
} 
notification email from wgkgood@163.com 
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smtp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
) 
vrrp script chk nfs ( 
script "/data/sh/check nfs.sh" 
interval 2 
weight 2 
) 
# VIPl 
vrrp instance VI 1 ( 
state MASTER 
interface eth0 
lvs sync daemon inteface ethO 
virtual router id 151 
priority 100 
advert int 5 
nopreempt 
authentication { 
auth type PASS 
auth pass 1111 
) 
virtual ipaddress ( 
192.168. 33. 188 
) 
track script ( 
chk nfs 


) 
(3) NFS+keepalived backup 配置 文件 代码 如 下 : 


! Configuration File for keepalived 
global defs ( 
notification email { 
wgkgood@ 163. com 


notification email from wgkgood@163.com 
smtp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
) 
vrrp script chk_nfs ( 
script "/data/sh/check_nfs. sh" 
interval 2 
weight 2 
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# VIP1 
vrrp instance VI 1 { 
state BACKUP 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 151 
priority 90 
advert int 5 
nopreempt 
authentication { 
auth type PASS 
auth pass 1111 
) 
virtual ipaddress { 
192.168.33.188 
) 
track script ( 
chk nfs 


) 
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(4) BiG NFS 服务 器 上 配置 /data/ sh/check_nfs. sh 脚本 ,内容 如 下 : 


#!/bin/bash 
# auto check nfs process 
NUM- 'ps -ef |grep nfs|grep - v greplgrep - v check|wc -1' 
if 
[[ $NUM - eq 0 ]]; then 
/etc/init.d/keepalived stop 


23.7 MySQL + keepalived 高 可 用 集群 实战 


MySQL 主 从 同步 复制 可 以 实现 取 数 据 库 进 行 备份 ,保证 网 站 数据 的 快速 恢复 ,一 般 应 
用 程序 读 写 均 在 master 上 ,如 果 一 旦 master 服务 器 宕 机 ,需要 手工 切换 Web 网 站 连接 数据 
库 的 下 至 从 库 , 可 以 基于 keepalived 软件 实现 自动 IP 切换 ,保证 网 站 高 可 用 率 ,MySQL 十 





keepalived 集群 架构 配置 方法 如 下 。 
(1) MySQL 主 库 、 从 库 分 别 安装 keepalived 服务 ,代码 如 下 : 


tar - xzvf keepalived- 1.2.1.tar.gz 
cd keepalived- 1.2.1 

./configure 

make 

make install 

DIR = /usr/local/ 


cp $DIR/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ 
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cp $DIR/etc/sysconfig/keepalived ^ /etc/sysconfig/ 
mkdir - p /etc/keepalived 
cp $DIR/sbin/keepalived /usr/sbin/ 


(2) MySQL + keepalived master 配置 文件 代码 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
wgkgood@ 163. com 


notification email from wgkgood(2163.com 
smtp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
) 
vrrp script chk mysql { 
script "/data/sh/check mysql.sh" 
interval 2 
weight 2 
} 
# VIP1 
vrrp instance VI_1 { 
state MASTER 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 151 
priority 100 
advert int 5 
nopreempt 
authentication ( 
auth type PASS 
auth pass 1111 
) 
virtual ipaddress { 
192.168.33.188 
) 
track script { 
chk mysql 


} 
(3) MySQL+keepalived backup 配置 文件 代码 如 下 : 
! Configuration File for keepalived 

global defs { 

notification email { 


wgkgood@ 163. com 


notification email from wgkgood@ 163. com 
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smtp_server 127.0.0.1 
smtp_connect timeout 30 
router id LVS DEVEL 
) 
vrrp script chk mysql ( 
script "/data/sh/check_mysql. sh" 
interval 2 
weight 2 
} 
# VIP1 
vrrp_instance VI_1 { 
state BACKUP 
interface eth0 
lvs sync daemon inteface ethO 
virtual router id 151 
priority 90 
advert int 5 
nopreempt 
authentication { 
auth type PASS 
auth pass 1111 
) 
virtual ipaddress ( 
192.168. 33.188 
) 
track script { 
chk mysql 


) 
(4) BiG MySQL 服务 器 上 配置 /data/sh/check_mysql. sh 脚本 ,内容 如 下 : 


#!/bin/bash 
# auto check mysql process 
NUM= 'ps -ef |grep mysql |grep - v grep|grep - v check|we - 1! 
if 
[[ $NUM - eq 0 ]]; then 
/etc/init.d/keepalived stop 
fi 


(5) Web 网 站 直接 连接 keepalived VIP 即 可 实现 网 站 自动 切换 ,发 现 MySQL 宕 机 ,会 
自动 切换 至 从 库 上 。 


23.8 Haproxy + keepalived 高 可 用 集群 实战 


随 着 互联 网 火热 的 发 展 , 开 源 负载 均衡 器 的 大 量 应 用 ,企业 主流 软件 负载 均衡 如 LVS, 
Haproxy, Nginx 等 ,各 方面 性 能 不 亚 于 硬件 负载 均衡 F5. Haproxy 提供 高 可 用 性 、 负 载 均 
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衡 以 及 基于 TCP 和 HTTP 应 用 的 代理 ,支持 虚拟 主机 , 它 是 免费 .快速 并 且 可 靠 的 一 种 解 
决 方案 。 


23.8.1 Haproxy 人 门 简介 


Haproxy 特别 适用 于 那些 负载 特大 的 Web 站 点 ,这 些 站 点 通常 又 需要 会 话 保 持 或 七 层 
处 理 。 负 载 均衡 LVS 是 基于 四 层 ,新 型 的 大 型 互联 网 公司 也 在 采用 Haproxy, 了解 了 
Haproxy 大 并 发 .七 层 应 用 等 ,Haproxy 高 性 能 负载 均衡 优点 如 下 : 

a Haproxy 是 支持 虚拟 主机 的 ,可 以 工作 在 4、7 层 ; 

a 能 够 补充 Nginx 的 一 些 缺 点 ,比如 Session fy REF Cookie 的 引导 等 工作 ; 

a 支持 url 检测 后 端的 服务 器 ; 

a 它 跟 LVS 一 样 ,只 是 一 款 负载 均衡 软件 ,单纯 从 效率 上 来 讲 , Haproxy 更 会 比 Nginx 

有 更 出 色 的 负载 均衡 速度 ,在 并 发 处 理 上 也 是 优 于 Nginx 的 ; 

a Haproxy 可 以 对 MySQL 读 进行 负载 均衡 ,对 后 端的 MySQL 节点 进行 检测 和 负载 

均衡 ,Haproxy 支持 多 种 算法 。 

Haproxy 十 keepalived 企业 高 性 能 Web 能 够 支持 千 万 级 并 发 网 站 ,实现 Haproxy 高 性 
能 Web 网 站 架构 配置 步 又 如 下 。 


23. 8.2 Haproxy 安装 配置 


Haproxy 安装 配置 步 又 相对 比较 简单 , 跟 其 他 源码 软件 安装 方法 大 致 相同 ,以 下 为 
Haproxy 配置 方法 及 步骤 。 
(1) Haproxy 编译 及 安装 ,代码 如 下 : 


cd /usr/src 

wget http: //haproxy. 1wt. eu/download/1.4/src/haproxy — 1.4.21.tar.gz 
tar xzf haproxy- 1.4.21. tar. gz 

cd haproxy - 1.4.21 

make TARGET = linux26 PREFIX = /usr/local/haproxy/ 

make install PREFIX = /usr/local/haproxy 


(2) 配置 Haproxy 服务 ,代码 如 下 : 


cd /usr/local/haproxy ;mkdir -p etc/ 
touch /usr/local/haproxy/etc/haproxy. cfg 


(3) haproxy. cfg 配置 文件 内 容 如 下 : 


global 
log 127.0.0.1 local0 
log 127.0.0.1 locall notice 
maxconn 4096 
uid 99 
gid 99 
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daemon 
defaults 
log global 
mode http 
option httplog 
option dontlognull 
retries 3 
option redispatch 
maxconn 2000 
contimeout 5000 
clitimeout 50000 
srvtimeout 50000 
frontend http - in 
bind * :80 
acl is www.jfl.com hdr end(host) - i jf1.com 
acl is www.jf2.com hdr end(host) - i jf2.com 
use backend www. jfl.com if is www. jfl.com 
use backend www. jf2.com if is www. jf2.com 
default backend www. jf1. com 
backend www. jf1.com 
balance roundrobin 
cookie SERVERID insert nocache indirect 
option httpchk HEAD /index. html HTTP/1.0 
option httpclose 
option forwardfor 
server jfl 192.168, 33.11:80 cookie jf1 check inter 1500 rise 3 fall 3 weight 1 
backend www. jf2. com 
balance roundrobin 
cookie SERVERID insert nocache indirect 
option httpchk HEAD /index.html HTTP/1.0 
option httpclose 
option forwardfor 
server jf2 192.168. 33.11:81 cookie jf2 check inter 1500 rise 3 fall 3 weight 1 


(4) 启动 Haproxy 服务 ,代码 如 下 : 
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg 
启动 Haproxy 报错 如 下 : 


[WARNING] 217/202150 (2857) : Proxy 'chinaapp. sinaapp. com': in multi- process mode, stats will 
be limited to process assigned to the current request. 


修改 源码 配置 src/cfgparse. c 找到 如 下 行 . 调 整 nbproc > 1 数值 即 可 : 


if (nbproc > 1) ( 
if (curproxy-» uri auth) ( 
= Warning( "Proxy ' % s': in multi- process mode, stats will be limited to 
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process assigned to the current request. \n", 
Warning("Proxy ' %s': in multi- process mode, stats will be limited to 


+ 


the process assigned to the current request. Vn", 


23.8.3 Haproxy 配置 文件 详解 


Haproxy 配置 文件 内 容 详解 如 下 : 
#2242 全局 配置 信息 8853438358 


global 


maxconn 20480 
log 127.0.0.1 local3 


chroot /usr/local/haproxy 


uid 99 
gid 99 
daemon 
nbproc 8 


# 默 认 最 大 连接 数 

# [err warning info debug] 

# chroot 运行 的 路 径 

# 所 属 运行 的 用 户 uid 

# 所属 运行 的 用 户 组 

# 以 后 台 形式 运行 haproxy 

H 进程 数量 (可 以 设置 多 个 进程 提高 性 能 ) 


pidfile /usr/local/haproxy/haproxy.pid # haproxy 的 pid 存放 路 径 , 启动 进程 的 用 户 必 


ulimit- n 65535 


并 须 有 权限 访问 此 文件 
#ulimit 的 数量 限制 


PRHHHHRAHHH RIK WJ AR VEL # 并 并 并 并 并 并 并 并 并 
## 这 些 参数 可 以 被 利用 配置 到 frontend, backend, listen 组 件 ## 
defaults 


log global 

mode http 

maxconn 20480 
option httplog 
option httpclose 
option dontlognull 
option forwardfor 


option redispatch 


option abortonclose 


stats refresh 30 
retries 3 

balance roundrobin 
# balance source 
# balance leastconn 
contimeout 5000 
clitimeout 50000 
srvtimeout 50000 
timeout check 2000 


并 所 处 理 的 类 别 (并 7 i http;4 JZ tcp ) 

# 最 大 连接 数 

# 日 志 类 别 http 日 志 格式 

并 每 次 请 求 完毕 后 主动 关闭 http 通道 

# 不 记录 健康 检查 的 日 志 信 息 

H 如 果 后 端 服务 器 需要 获得 客户 端 真实 ip 需 要 配置 的 参 
# 数 ,可 以 从 Http Header 中 获得 客户 端 ip 

并 serverId 对 应 的 服务 器 挂 掉 后 , 强制 定向 到 其 他 健康 
并 的 服务 器 

并 当 服务 器 负载 很 高 的 时 候 , 自动 结束 掉 当 前 队列 处 理 比 
# 较 久 的 连接 

并 统计 页 面 刷 新 间隔 

并 3 次 连接 失败 就 认为 服务 不 可 用 , 也 可 以 通过 后 面 设置 
# 默 认 的 负载 均衡 的 方式 , 轮 询 方式 

H 默认 的 负载 均衡 的 方式 ,类 似 nginx 的 ip hash 

# 默认 的 负载 均衡 的 方式 ,最 小 连接 

并 连接 超时 

# 客 户 端 超 时 

# 服 务 器 超时 

# 心 跳 检测 超时 


iissssssssssss 监控 页 面 的 设置 并 并 并 并 并 并 并 并 并 并 并 
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listen admin status # Frontend 和 Backend 的 组 合体 ,监控 组 的 名 称 , 按 需 自 

并 定义 名 称 

bind 0.0.0.0:65532 井 监听 端口 

mode http # http 的 7 层 模式 

log 127.0.0.1 local3 err 井 错误 日 志 记录 

stats refresh 5s # 8M 5s 自动 刷新 监控 页 面 

stats uri /adnin?stats # 监控 页 面 的 url 

stats realm jfedu\ jfedu # 监控 页 面 的 提示 信息 

stats auth admin:admin H 监控 页 面 的 用 户 和 密码 admin, 可 以 设置 多 个 用 户 名 

stats hide- version # 隐藏 统 计 页 面 上 的 Haproxy 版 本 信息 

stats admin if TRUE # 手 工 启用 /禁用 ,后 端 服 务 器 


HARHHHHRHH 监控 haproxy 后 端 服务 器 的 状态 242222422222 


listen site status 


bind 0.0.0.0:1081 # 监听 端口 

mode http #http 的 7 层 模式 

log 127.0.0.1 local3 err # [err warning info debug] 

monitor- uri /site status # 网 站 健康 检测 URL, 用 来 检测 Haproxy 管理 的 网 站 是 否 


# 可 以 用 ,正常 返回 200, 不 正常 返回 503 
acl site dead nbsrv(server web) lt 2 # 定 义 网 站 down 时 的 策略 当 挂 在 负载 均衡 上 的 指 
# JE backend 的 有 效 机 器 数 小 于 1 台 时 返回 true 
monitor fail if site dead H 当 满 足 策略 的 时 候 返 回 503, 网 上 文档 说 的 是 500, 实际 
# 测试 为 503 
monitor - net 192. 168. 149. 129/32 # Æ [1 192.168. 149.129 的 日 志 信息 不 会 被 记录 和 转发 
monitor - net 192. 168. 149. 130/32 & Æ [4 192. 168. 149.130 的 日 志 信息 不 会 被 记录 和 转发 
##3#33#333 frontend 配置 e424s2s8s8s 85H 
##### 注意 , frontend 配置 里 面 可 以 定义 多 个 acl 进行 匹配 操作 44444424 
frontend http 80 in 





bind 0.0.0.0:80 # 监 听 端 口 , 即 haproxy 提供 web 服务 的 端口 ,和 lvs 的 
# vip 端口 类 似 

mode http # http 的 7 层 模式 

log global 并 应 用 全 局 的 日 志 配 置 

option httplog # JAJ http 的 log 

option httpclose # 每 次 请 求 完 毕 后 主动 关闭 http 通道 , HA — Proxy 不 支持 
# keep - alive 模式 

option forwardfor # 如 果 后 端 服 务 器 需要 获得 客户 端的 真实 IP 需 要 配置 次 


并 参数 ,将 可 以 从 Http Header 中 获得 客户 端 IP 
PHHHHHHH acl Eiee Ri HHAHHHHHHH HHH 
acl jfedu web hdr reg(host) — i ^(www1. jfedu. net|www2. jfedu. net)$ 
# 如 果 请 求 的 域名 满足 正则 表达 式 中 的 2 个 域名 返回 true — i 是 忽略 大 小 写 
# 如果 请 求 的 域名 满足 ww. jfedu. net 返回 true -i 是 忽略 大 小 写 
#acl jfedu hdr(host) - i jfedu. net 
井 如 果 请 求 的 域名 满足 jfedu. net 返回 true -是 忽略 大 小 写 
#acl file_req url_sub - i killall = 
# 在 请 求 url 中 包含 killall = , 则 此 控制 策略 返回 true, 否则 为 false 
#acl dir req url dir - i allow 
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# 在 请 求 url 中 存在 allow 作为 部 分 地 址 路 径 , 则 此 控制 策略 返回 true, 否则 返回 false 
井 acl missing cl hdr cnt(Content - length) eq 0 
井 当 请 求 的 header 中 Content - length 等 于 0 时 返回 true 
#444443 acl 策略 匹配 相应 4244224822244 
# block if missing cl 
# 当 请 求 中 header 中 Content - length 等 于 0 阻止 请 求 返 回 403 
# block if !file req || dir req 
# block 表示 阻止 请 求 , 返回 403 错误 , 当前 表示 如 果 不 满足 策略 file_req, 或 者 满足 策略 
# dir req, 则 阻止 请 求 
use backend server web if jfedu web 
井 当 满足 jfedu web 的 策略 时 使 用 server web 的 backend 
HSSHUHH HS backend 的 设置 并 井 并 并 并 并 并 并 并 并 并 并 并 并 
backend server_web 


mode http http 的 7 层 模式 
balance roundrobin 并 负载 均衡 的 方式 ,roundrobin 平均 方式 
cookie SERVERID 并 允许 插入 serverid 到 cookie 中 ,serverid 后 面 可 以 定义 


option httpchk GET /index.html 并 心跳 检测 的 文件 

server webl 192.168.149.129:80 cookie webl check inter 1500 rise 3 fall 3 weight 1 

# 服 务 器 定义 ,cookie 1 表示 serverid 为 web1, check inter 1500 是 检测 心跳 频率 rise3 是 3 
井 次 正确 认为 服务 器 可 用 

# fa11 3 是 3 次 失败 认为 服务 器 不 可 用 ,weight 代表 权重 

server web2 192. 168.149. 130:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 

井 服务 器 定义 ,cookie 1 表示 serverid 为 web2, check inter 1500 是 检测 心跳 频率 rise3 是 3 
# 次 正确 认为 服务 器 可 用 

# fa11 3 是 3 次 失败 认为 服务 器 不 可 用 ,weight 代表 权重 


23.8.4 安装 keepalived 服务 


cd /usr/src ; 

wget http://www. keepalived. org/software/keepalived- 1.2.1.tar.gz 

tar xzf keepalived- 1.2.1.tar.gz 

cd keepalived - 1.2.1 && 

./configure -- with- kernel- dir = /usr/src/kernels/2.6.32 - 71.e16.x86 64/ 
make &&make install 

DIR = /usr/local/ ;cp $DIR/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ 
cp $DIR/etc/sysconfig/keepalived /etc/sysconfig/ 

mkdir -p /etc/keepalived && cp $DIR/sbin/keepalived /usr/sbin/ 


23.8.5 配置 Haproxy 十 keepalived 


Haproxy 十 keealived master 端 keepalived. conf 配置 文件 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
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wgkgood@ 139. com 


notification email from wqkgood@139.com 
sntp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
) 
vrrp script chk haproxy ( 
script "/data/sh/check haproxy. sh" 
interval 2 
weight 2 
) 
* VIP1 
vrrp instance VI 1 ( 
state MASTER 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 151 
priority 100 
advert int 5 
nopreempt 
authentication { 
auth type PASS 
auth pass 2222 
) 
virtual ipaddress ( 
192.168.0.133 
) 
track script { 
chk haproxy 


23.8.6 创建 Haproxy 脚本 
设置 可 执行 权限 chmod 十 x check haproxy. sh ,脚本 内 容 如 下 : 


# !/bin/bash 
# auto check haprox process 
#2017 - 6 - 12 jfedu. net 
killall - 0 haproxy 
if 

[[ $? -ne 0 ]];then 

/etc/ init. d/keepalived stop 
fi 
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Haproxy 十 keealived backup 端 keepalived. conf 配置 文件 如 下 : 


! Configuration File for keepalived 
global defs ( 
notification email { 
wgkgood@ 139. com 


notification email from wgkgood(4 139. com 
smtp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
} 
vrrp_script chk_haproxy { 
script "/data/sh/check_haproxy. sh" 
interval 2 
weight 2 
) 
# VIPI 
vrrp_instance VI_1 { 
state BACKUP 
interface eth0 
lvs sync daemon interface eth0 
virtual router id 151 
priority 90 
advert int 5 
nopreempt 
authentication { 
auth type PASS 
auth pass 2222 
) 
virtual ipaddress ( 
192.168.0.133 
) 
track script ( 


chk haproxy 


23.8.7 测试 Haproxy+keepalived 服务 


手动 kill 掉 131 的 Haproxy 进程 后 ,130 的 keepalived 后 台 日 志 显 示 如 下 ,并 且 访 问 
133 VIP 正常 访问 , 则 证 明 Haproxy 十 keepalived 高 可 用 架构 配置 完毕 ,如 图 23-4 所 示 。 
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www.jfi.com Welcome to nginx! 
If you see this page, the nginx web server is successfully installed and 
working. Further configuration is required. 


For online documentation and support please refer to nginx.org. 
Commercial support is available at nginx.com. 


Thank you for using nginx. 
(a) Haproxy+keepalived 网 站 架构 (1) 


WWW.jf2.com Welcome to nginx! 


1f you see this page, the nginx web server is successfully installed and 
working. Further configuration is required. 


For online documentation and support please refer to nginx.org. 
Commercial support is available at nginx.com. 
Thank you for using nginx. 

(b) Haproxy+keepalived 网 站 架构 (2) 


29:54 192-168-0-130 Heepalived verp: Opening file '/etc/Leepalived/keepalived.conf' 


29:54 Keepalived vrrp: Configuration is using : 38124 Bytes 

29:54 Using LinkWatch kernel netlink reflector... 
29:54 vas? Instance (VI 1) Entering BACKUP STATE 
29:54 192-168-0-130 Keepalived_vrrp: VARF sockpool: [ifindex(2), proto(ii2), fdi10, 

















29:54 192-162-0-130 Keepalived vrrp: VERF Script(chk haproxy) succeeded 

31:31 192-168-0-130 Keepalived vrrp: VRRP Instance(VI 1) Transition to MASTER STATE 
31:36 192-168-0-130 Keepalived verp: VRRP Instance [VI 1] Entering MASTER STATE) 
31:36 192-165-0-130 Keepalived vrzp: VRRP Instance(VI 1) setting protocol VIPs. 
31:36 192-168-0-130 Keepalived vrrp: VRRE Instance|VI 1) Sending gratuitous ARPS on 
192.168.0.133 

31:41 192-168-0130 Keepalived vrzp: VRRP Instance(VI 1) Sending gratuitous ARPS on 
192.168.0.133 














(c) Haproxy+keepalived 网 站 架构 (3) 


HAProxy 

Statistics Report for pid 7658 

—— nw mF n 
gti 























(d) Haproxy+keepalived 同 站 架构 (4) 


23-4 Haproxy-- keepalived 网 站 架构 
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23.9 LVS+keepalived 高 可 用 集群 实战 


LVS 是 Linux virtual server 的 简写 , 意 即 Linux 虚拟 服务 器 ,是 一 个 虚拟 的 服务 器 集 
群 系统 。 本 项 目 在 1998 4E 5 月 由 章 文 需 博士 成 立 ,是 中 国 国内 最 早出 现 的 自由 软件 项 目 之 
一 。LVS 简单 工作 原理 为 用 户 请 求 LVS VIP,LVS 根据 转发 方式 和 算法 ,将 请 求 转发 给 后 
端 服务 器 ,后 端 服 务 器 接收 到 请 求 ,返回 给 用 户 。 对 于 用 户 来 说 ,看 不 到 Web 后 端 具体 的 
应 用 。 


23.9.1 LVS 负载 均衡 简介 


互联 网 主流 可 伸缩 网 络 服务 有 很 多 结构 ,但 是 都 有 一 个 共同 点 ,它们 都 需要 一 个 前 端的 
负载 调度 器 (或 者 多 个 进行 主 从 备份 )。 实 现 虚拟 网 络 服务 的 主要 技术 指出 IP 负载 均衡 技 
术 是 在 负载 调度 器 的 实现 技术 中 效率 最 高 的 。 

已 有 的 IP 负载 均衡 技术 中 ,主要 有 通过 网 络 地 址 转换 (network address translation) 将 
一 组 服务 器 构成 一 个 高 性 能 的 、 高 可 用 的 虚拟 服务 器 ,通常 称 之 为 VS/NAT 技术 (virtual 
server via network address translation) 。 

在 分 析 VS/NAT 的 缺点 和 网 络 服务 的 非 对 称 性 的 基础 上 ,可 以 通过 IP 隧道 实现 虚拟 
服务 器 的 方法 VS/TUN (virtual server via IP tunneling) 和 通过 直接 路 由 实现 虚拟 服务 器 
的 方法 VS/DR(virtual server via direct routing) ,它们 可 以 极 大 地 提高 系统 的 伸缩 性 。 

总 体 来 说 ,IP 负载 均衡 技术 分 为 VS/NAT、VS/TUN 和 VS/DR 技术 ,它们 是 LVS 集 
群 中 实现 的 三 种 IP 负载 均衡 技术 。 


23.9.2 LVS 负载 均衡 工作 原理 


实现 LVS 负载 均衡 转发 方式 有 三 种 ,分 别 为 NAT、DR、TUN 模式 ,LVS 均衡 常见 算 
法 包括 RR (round-robin) ,LC(Cleast. connection) , W (weigh) RR, WLC 模式 等 (RR 为 轮 询 
模式 ,LC 为 最 少 连接 模式 ) 。 

LVS NAT 原理 : 用 户 请 求 LVS 到 达 director director 将 请 求 的 报 文 的 目标 IP 地 址 改 
成 后 端的 realserver IP 地 址 ,同时 将 报 文 的 目标 端口 也 改 成 后 端 选 定 的 realserver 相应 端 
O ,最 后 将 报 文 发 送 到 realserver.realserver 将 数据 返 给 director,director 再 把 数据 发 送 给 
用 户 。 因 为 两 次 请 求 都 经 过 director, 所 以 访问 量 大 的 话 , director 会 成 为 瓶颈 ,如 图 23-5 
所 示 。 

LVS DR 原理 : 用 户 请 求 LVS 到 达 director. director 将 请 求 的 报 文 的 目标 MAC 地 址 
改 成 后 端的 realserver MAC 地 址 ,目标 IP 为 VIP( 不 变 ) , 源 IP 为 用 户 IP 地 址 (保持 不 变 )， 
然后 director 将 报 文 发 送 到 realserver,realserver 检测 到 目标 为 自己 本 地 VIP, 如 果 在 同一 
个 网 段 , 然 后 将 请 求 直接 返 给 用 户 。 如 果 用 户 跟 realserver 不 在 一 个 网 段 , 则 通过 网 关 返 回 
户 , 如 图 23-6 所 示 。 
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图 23-6 LVS DR 原理 详解 图 
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LVS TUN 原理 : 用 户 请 求 LVS 到 达 director,director 通过 IP-TUN 加 密 技术 将 请 求 
的 报 文 的 目标 MAC 地 址 改 成 后 端的 realserver MAC 地 址 ,目标 IP 为 VIP( 不 变 ) , 源 IP 为 
户 IP 地 址 (保持 不 变 ), 然 后 director 将 报 文 发 送 到 realserver, realserver 基于 IP-TUN 
解密 ,然后 检测 到 目标 为 自己 本 地 VIP, 如 果 在 同一 个 网 段 ,然后 将 请 求 直接 返 给 用 户 。 如 
果 用 户 跟 realserver 不 在 一 个 网 段 , 则 通过 网 关 返 回 用 户 , 如 图 23-7 所 示 。 


user 


replies going to the user directly 
Internev/Intranet 




























virtual IP address | 


virtual server 、、 real server n^ 
via IP tunneling. ` P. 


图 23-7 LVS TUN 原理 详解 图 


23.9.3 LVS 负载 均衡 实战 配置 


LVS 负载 均衡 技术 实现 是 基于 Linux 内 核 模块 ipvs, 与 iptables 一 样 是 直接 工作 在 内 
核 中 ,互联 网 主流 的 Linux 发 行 版 默认 都 已 经 集成 了 ipvs 模块 ,因此 只 需 安装 管理 工具 
ipvsadm, 所 需 软件 为 ipvsadm-1. 2. 4. tar. gz 软件 ,安装 配置 步骤 如 下 : 

(1) ipvsadm 编译 安装 方法 如 下 : 


wget -c 

http: //www. linuxvirtualserver. org/software/kernel - 2.6/ipvsadm- 1.24. tar.gz 
In - s /usr/src/kernels/2.6. * /usr/src/linux 

tar xzvf ipvsadm- 1.24.tar.gz 

cd ipvsadm - 1.24 

make 

make install 
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(2) ipvsadm 软件 安装 完毕 后 ,需要 进行 配置 ,主要 配置 方法 有 三 步 : 添加 虚拟 服务 器 
IP 添加 realserver 后 端 服务 及 启动 LVS 服务 器 VIP 地 址 ,配置 代码 如 下 : 


ipvsadm — À —t 192.168.33.188:80 -srr 
ipvsadm -a — t 192.168.33.188:80 -r 192.168.33.12 -g -w2 
ipvsadm -a — t 192.168.33.188:80 - r 192.168.33.13 -g -w2 


(3) 可 以 使 用 shell 脚本 自动 部 署 LVS 相关 软件 及 配置 ,代码 如 下 : 





# ! /bin/bash 

SNS VIP- $2 

SNS_RIP1 = $3 

SNS RIP2- $4 

if [ "$1" == "stop" -a -z "$2" ];then 
&cho. t oro seas Sse sae Ss i 
echo - e "\033[32mPlease Enter $0 stop LVS_VIP\n\nEXample: $0 stop 192. 168.1. 111V033[0n" 
echo 
exit 

else 
if[ -z"$2" -a -z"$3" -a -z "$4" ];then 








Gol et bi 
echo - e "X033 [32nPlease Enter Input $0 start VIP REALSERVER1 REALSERVER2 V nV 

nEXample: $0 start/stop 192.168.1.111 192.168.1.2 192.168.1.3V033[0n" 

echo 

exit 0 

fi 

Ir 
. /etc/rc. d/ init.d/functions 
logger $0 called with $1 
function IPVSADM()( 
/sbin/ipvsadm -- set 30 5 60 
/sbin/ifconfig eth0:0 $SNS VIP broadcast $SNS VIP netmask 255.255.255.255 broadcast $SNS_ 
VIP up 
/sbin/route add - host $SNS VIP dev eth0:0 
/sbin/ipvsadm -A - t $SNS VIP:80 -s wlc -p 120 
/sbin/ipvsadm -a - t $SNS VIP:80 -r $SNS RIP1:80 -g -w1 
/sbin/ipvsadm -a - t $SNS VIP:80 -r $SNS RIP2:80 -g -w1 
) 
case " $1" in 
start) 


/sbin/ipvsadm - Ln 

touch /var/lock/subsys/ipvsadm > /dev/null 2 > &1 
stop) 

/sbin/ipvsadm 一 C 

/sbin/ipvsadm - Z 
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ifconfig eth0:0 down >>/dev/null 2» &1 

route del $SNS VIP >>/dev/null 2 > &1 

rm — rf /var/lock/subsys/ipvsadm > /dev/null 2» &1 
echo "ipvsadm stopped!" 

status) 

if [ ! — e /var/lock/subsys/ipvsadm ] 

then 

echo " ipvsadm stopped!" 
exit 1 

else 


echo 
fi 


"ipvsadm started!" 


*) 

echo "Usage: $0 (start | stop | status)" 
exit 1 

esac 


exit 0 
(4) LVS 服务 器 绑 定 VIP 地 址 ,命令 如 下 : 


VIP = 192.168.33.188 
ifconfigeth0:0 $VIP netmask 255.255.255.255 broadcast SVIP 
/sbin/route add- host $VIP dev eth0:0 
(5) LVS ipvsadm 配置 参数 说 明 如 下 : 
A: 增加 一 台 虚 拟 服务 器 VIP 地 址 
t; 虚拟 服务 器 提供 的 是 TCP 服务 
s: 使 用 的 调度 算法 
a: 在 虚拟 服务 器 中 增加 一 台 后 端 真实 服务 器 


口 
口 
a 
a 
a -r: 指定 真实 服务 器 地 址 
a 
a 
a 
a 









W: 后 端 真实 服务 器 的 权重 
-m: 设置 当前 转发 方式 为 NAT 模式 。 
-g: 模式 为 直接 路 由 模式 。 
“i; 模式 为 隧道 模式 。 
(6) LVS 转发 列表 命令 为 ipvsadm -Ln, 如 图 23-8 所 示 。 








图 23-8 LVS ipvsadm 查看 链接 状态 
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(7) Nginx 客户 端 realserver 配置 VIP 脚本 如 下 : 


#!/bin/sh 
# LVS Client Server 
VIP = 192. 168.33.188 
case $1 in 
start) 
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP 
/sbin/route add - host SVIP dev 10:0 
echo "1" »/proc/sys/net/ipv4/conf/lo/arp ignore 
echo "2" »/proc/sys/net/ipv4/conf/lo/arp announce 
echo "1" »/proc/sys/net/ipv4/conf/all/arp ignore 
echo "2" »/proc/sys/net/ipv4/conf/all/arp announce 
sysctl - p >/dev/null 2» &1 
echo "RealServer Start OK" 
exit 0 
stop) 
ifconfig lo:0 down 
route del $VIP »/dev/null 2» &1 
echo "0" »/proc/sys/net/ipv4/conf/lo/arp ignore 
echo "0" »/proc/sys/net/ipv4/conf/lo/arp announce 
echo "0" »/proc/sys/net/ipv4/conf/all/arp ignore 
echo "0" »/proc/sys/net/ipv4/conf/all/arp announce 
echo "RealServer Stoped OK" 
exit 1 
S 
echo "Usage: $0 (start|stop]" 
esac 
如 果 单 台 LVS 发 生 突 发 情况 ,例如 宕 机 ,发 生 不 可 恢复 ,会 导致 用 户 无 法 访问 后 端 所 有 
的 应 用 程序 。 为 了 避免 这 种 问题 导致 网 站 长 时 间 不 可 用 ,可 以 使 用 HA 方案 实现 故障 切 
换 ,可 以 基于 LVS--keepalived 实现 负载 均衡 及 高 可 用 功能 ,满足 网 站 7X24 小 时 稳定 高 效 
地 运行 。 
keepalived 基于 三 层 检测 (IP 层 `.TCP 层 ,应 用 层 ) ,主要 用 于 检测 Web 服务 器 的 状态 ， 
如 果 有 一 台 Web 服务 器 死机 ,或 工作 出 现 故障 ,keepalived 检测 到 并 将 有 故障 的 Web 服务 
器 从 系统 中 别 除 。 
当 后 端 一 台 Web 服务 器 工作 正常 后 keepalived 自动 将 Web 服务 器 加 入 到 服务 器 群 
中 ,这 些 工 作 全 部 自动 完成 ,不 需要 人 工 干涉 ,需要 人 工 做 的 只 是 修复 故障 的 Web 服务 器 。 
需要 注意 ,如 果 使 用 了 keepalived. conf 配置 ,就 不 需要 再 执行 ipvsadm -A 命令 去 添加 
均衡 的 realserver 命令 了 ,所 有 的 配置 都 在 keepalived. conf 里 面 设置 即 可 。 
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23.9.4 LVS 十 keepalived 实战 配置 


LVS 十 keepalived 负载 均衡 高 可 用 集群 架构 适用 于 千 万 级 并 发 网 站 ,在 互联 网 企业 得 
到 广泛 的 应 用 ,以 下 为 LVS 十 keepalived 企业 级 配置 方法 和 步骤 。 
(1) ipvsadm 编译 安装 方法 如 下 : 


wget -c 

http://www. linuxvirtualserver. org/software/kernel - 2. 6/ipvsadm - 1.24. tar.gz 
ln - s /usr/src/kernels/2.6. * /usr/src/linux 

tar xzvf ipvsadm- 1.24.tar.gz 

cd ipvsadm- 1.24 

make 

make install 


(2) keepalived 安装 配置 如 下 : 


cd /usr/src 

wget -c http://www. keepalived. org/software/keepalived- 1.1.15. tar.gz 
tar - xzvf keepalived- 1.1.15. tar.gz 

cd keepalived - 1.1.15 

./configure 

make && make install 

DIR = /usr/local/ 

cp $DIR/etc/rc. d/init. d/keepalived /etc/rc. d/init. d/ 
cp $DIR/etc/sysconf ig/keepalived /etc/sysconfig/ 
mkdir - p /etc/keepalived 

cp $DIR/sbin/keepalived /usr/sbin/ 


(3) master 上 keepalived, conf 配置 代码 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
wgkgood@ 163. com 
} 
notification email from wgkgood(4163. com 
smtp server 127.0.0.1 
smtp connect timeout 30 
router id LVS DEVEL 
} 
# VIPl 
vrrp_instance VI_1 { 
state MASTER 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 51 
priority 100 


advert int 5 

nopreempt 

authentication { 
auth_type PASS 
auth_pass 1111 

} 

virtual_ipaddress { 
192.168. 33.188 


) 
virtual server 192.168.33.188 80 { 

delay loop 6 

lb algo wrr 

lb kind DR 

persistence timeout 60 

protocol TCP 

real server 192.168.33.12 80 ( 
weight 100 
TCP CHECK ( 
connect timeout 10 
nb get retry 3 
delay before retry 3 
connect port 80 
) 

) 

real server 192.168.33.13 80 ( 
weight 100 
TCP CHECK ( 
connect timeout 10 
nb get retry 3 
delay before retry 3 
connect port 80 


) 


(4) backup 上 keepalived. conf 配置 代码 如 下 : 


! Configuration File for keepalived 
global defs { 
notification email { 
wgkgood@ 163. com 
) 
notification email from wgkgood@ 163.com 
smtp server 127.0.0.1 
smtp connect timeout 30 
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router id LVS DEVEL 
} 
# VIPl 
vrrp instance VI 1 { 
state BACKUP 
interface eth0 
lvs sync daemon inteface eth0 
virtual router id 51 
priority 90 
advert int 5 
nopreempt 
authentication ( 
auth type PASS 
auth pass 1111 
) 
virtual ipaddress ( 
192.168. 33.188 


) 
virtual_server 192.168.33.188 80 ( 
delay loop 6 
lb algo wrr 
lb kind DR 
persistence timeout 60 
protocol TCP 
real server 192.168.33.12 80 ( 
weight 100 
TCP CHECK ( 
connect timeout 10 
nb get retry 3 
delay before retry 3 
connect port 80 
) 
) 
real server 192.168.33.13 80 ( 
weight 100 
TCP CHECK { 
connect timeout 10 
nb get retry 3 
delay before retry 3 
connect port 80 
) 


) 


Master keepalived 配置 state 状态 为 MASTER priority 设置 为 100. backup keepalived 
配置 state {RAS BACKUP. priority 设置 90. 转 发 方式 为 DR 直 连 路 由 模式 ARA wrr BE 
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式 , 在 LVS backup 服务 器 写 人 如 上 配置 ,需要 注意 客户 端的 配置 要 修改 优先 级 及 状态 。 
LVS+keepalived 负载 均衡 主 备 配 置 完毕 ,由 于 LVS 采用 DR 模式 ,根据 DR 模式 转发 
原理 , 需 在 客户 端 realserver 绑 定 VIP. 


23.9.5 LVS DR 客户 端 配置 VIP 

















户 通 过 浏览 器 访问 director 的 VIP. director 接收 请 求 , 将 通过 相应 的 转发 方式 及 算 


法 将 请 求 转发 给 相应 的 realserver。 在 转发 的 过 程 中 ,会 修改 请 求 包 的 目的 MAC 地 址 , 目 
的 IP 地 址 不 变 。realserver 接收 请 求 ,并 直接 响应 客户 端 。 

director 与 realserver 位 于 同一 个 物理 网 络 中 , 当 director 直接 将 请 求 转发 给 realserver 
时 ,如 果 realserver 检测 到 该 请 求 包 目 的 IP 是 VIP 而 并 非 自 己 , 便 会 丢弃 ,不 会 响应 。 

为 了 解决 这 个 问题 , 需 在 所 有 realserver 上 都 配 上 VIP, 保 证 数据 包 不 丢弃 ,同时 由 于 
后 端 realserver 都 配置 VIP 会 导致 IP 冲突 ,所 以 需 将 VIP 配置 在 lo 网 卡 上 ,这 样 限制 了 
VIP 不 会 在 物理 交换 机 上 产生 MAC 地 址 表 , 从 而 避免 IP 冲突 。LVS DR 客户 端 启 动 
realserver. sh 脚本 内 容 如 下 : 

# ! /bin/sh 

*LVS Client Server 

VIP = 192.168.33.188 


case $1 in 
start) 


+i 


ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP 
/sbin/route add - host $VIP dev 1o:0 

echo "1" »/proc/sys/net/ipv4/conf/lo/arp ignore 

echo "2" »/proc/sys/net/ipv4/conf/lo/arp announce 

echo "1" »/proc/sys/net/ipv4/conf/all/arp ignore 

echo "2" »/proc/sys/net/ipv4/conf/all/arp announce 

sysctl - p »/dev/null 2» &1 

echo "RealServer Start OK" 

exit 0 


stop) 


ifconfig 10:0 down 

route del $VIP >/dev/null 2» &1 

echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore 
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce 
echo "0" »/proc/sys/net/ipv4/conf/all/arp ignore 
echo "0" »/proc/sys/net/ipv4/conf/all/arp announce 
echo "RealServer Stoped OK" 

exit 1 


echo "Usage: $0 (start|stop]" 
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esac 


23.9.6 LVS 负载 均衡 企业 实战 排 错 经 验 


LVS 在 企业 生产 环境 中 如 何 去 排 错 呢 , 遇 到 问题 该 怎么 办 呢 ? LVS 使 用 过 程 中 ,会 遇 
到 很 多 问题 ,以 下 为 LVS 故障 排 错 思路 。 

企业 网 站 LVS 十 keepalived 十 Nginx 架构 中 ,突然 发 现 网 站 www. jfedu. net 部 分 用 户 
访问 巨 慢 ,甚至 无 法 访问 ,这 个 问题 该 如 何 定位 呢 ? 思路 如 下 : 

(1) 客户 端 ping www. jfedu. net j ping 返回 域名 对 应 的 IP 是 否 正常 ; 

(2) 如 果 无 法 返回 IP, 或 者 响应 比较 慢 ,定位 DNS 或 者 网 络 延 迟 问 题 , 可 以 通过 tracert 
www. jfedu. net 测试 客户 端 本 机 到 服务 器 的 链 路 延迟 ; 

(3) 登录 LVS 服务 器 ,ipvsadm -Ln 查看 当前 后 端 Web 连接 信息 ,显示 如 下 : 

[root@LVS - Master keepalived]# ipvsadm - Ln 


IP Virtual Server version 1.2.1 (size- 4096) 
Prot LocalAddress:Port Scheduler Flags 


一 > RemoteAddress:Port Forward Weight ActiveConn InActConn 
TCP 192.168. 1. 10:80 wlc 

-> 192.168. 1.6:80 Route 100 2 13 

-> 192.168. 1.5:80 Route 100 120 13 

-> 192.168. 1.4:80 Route 100 1363 45 


通过 LVS ipvsadm 信息 ,看 到 LVS 选择 的 轮训 方式 为 加 权 最 少 连接 ,而 网 站 也 是 部 分 
无 法 访问 ,猜测 是 其 中 一 台 Web 服务 器 无 法 访问 或 者 访问 巨 慢 导致 ,如 果 单 台 Web 异常 ， 
为 什么 LVS 十 keepalived 不 能 将 异常 的 Web 服务 器 IP 异常 均衡 列表 呢 ? 
查看 keepalived. conf 负载 均衡 健康 检查 配置 ,部 分 代码 如 下 : 
real server 192.168.1.4 80 ( 
weight 100 
TCP CHECK ( 
connect timeout 10 
nb get retry 3 
delay before retry 3 
connect port 80 


) 


通过 配置 文件 发 现 LVS 默认 用 的 是 TCP 检测 方式 ,只 要 80 端口 能 通 , 请 求 就 会 被 转 
发 到 后 端 服务 器 。 紧 接着 在 LVS 服务 器 使 用 weet http://192. 168. 1.4/ 返 回 很 慢 ,直至 超 
时 ,而 另外 几 台 Nginx realserver 返回 正常 ,查看 Nginx 192. 168. 1. 4 服务 器 80 端口 服务 正 
常 启动 ,所 以 对 于 LVS 服务 器 来 说 是 打开 的 .所 以 LVS 会 把 请 求 转发 给 它 。 

为 什么 部 分 用 户 可 以 访问 .有 的 用 户 无 法 访问 呢 ? 发 现 192. 168. 1. 4 服务 器 ifconfig 
查看 IP, 但 是 没有 看 到 VIP 地 址 绑 定 在 lo:0 网 卡 上 ,经 排 错 由 于 该 服务 器 被 重启 ， 
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realserver 脚本 配置 VIP 异常 ,启动 realserver 脚本 ,网 站 恢复 正常 。 

为 了 防止 上 述 突 发 问题 ,增加 LVS 对 后 端 Nginx URL 的 检测 ,能 访问 URL 则 表示 服 
务 正常 。 对 比 之 前 的 检测 方式 ,从 单纯 的 80 端口 到 现在 的 URL 检测 ,后 端 如 果 某 台 出 现 
502 超时 错误 ,keepalived 列表 会 自动 踢 出 异常 的 realserver. 等 待 后 端 realserver 恢复 后 自 
动 添加 到 服务 器 正常 列表 。keepalived 基于 URL 检查 代码 如 下 : 


real server 192.168.1.4 80 ( 
weight 100 
HTTP GET ( 
url { 
path /monitor/warn. jsp 
status_code 200 
) 
connect timeout 10 
nb get retry 3 
delay before retry 3 
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Docker 虚拟 化 技术 是 目前 最 火爆 的 技术 之 一 ,Docker 旨 在 实现 应 用 软件 .程序 快速 打 
包 部 署 及 容器 快速 部 署 ,为 生产 环境 更 快 集成 及 交付 提供 便利 。 

本 章 向 读者 介绍 Docker 虚拟 化 技术 入 门 、Docker 简介 、Docker 4&4 , Docker 容器 、 
Docker 仓库 及 Docker 安装 使 用 .DockerFile 构建 镜像 .Docker 磁盘 管理 ,扩容 及 一 键 构建 
Docker 虚拟 化 平台 等 内 容 。 


24.1 虚拟 化 概述 及 简介 


1961 年 IBM709 机 实现 了 分 时 系统 ,将 CPU 占用 切 分 为 多 个 极 短 (1/100s) 时 间 片 ,每 
一 个 时 间 片 都 执行 着 不 同 的 任务 。 通 过 对 这 些 时 间 片 的 轮 询 , 就 可 以 将 一 个 CPU 虚拟 化 
或 者 伪装 成 为 多 个 CPU ,并 且 让 每 一 个 虚拟 CPU 看 起 来 都 是 在 同时 运行 ,这 就 是 虚拟 机 的 
AE o 

1972 ^F IBM 正式 将 system370 机 的 分 时 系统 命名 为 虚拟 机 ,1990 年 IBM 推出 的 
system390 机 支持 逻辑 分 区 ,将 一 个 CPU 分 为 若干 份 (最 多 10 份 ), 而 且 每 份 CPU 都 是 独 
立 的 , 即 一 个 物理 CPU 可 以 在 逻辑 上 分 为 10 个 CPU。 

直到 IBM 将 分 时 系统 开源 后 ,个 人 PC 终于 迎 来 了 虚拟 化 的 开端 ,后 来 才 有 了 
VMware, VirtualBox, Hyper-V ,KVM, Xen 等 虚拟 化 技术 的 发 展 ,至 今 为 止 仍 有 部 分 软件 
应 用 分 时 系统 作为 虚拟 化 的 基础 实现 。 

虚拟 化 是 一 种 资源 管理 技术 ,能够 把 物理 资源 转变 为 逻辑 上 可 以 管理 的 资源 ,如 服务 
d I £f ,内存 及 存储 等 资源 ,虚拟 化 可 以 打破 物理 结构 间 的 壁垒, 计算 元 件 运行 在 虚拟 的 基 
础 上 而 非 真 实 的 基础 上 ,可 以 扩大 硬件 的 容量 ,简化 软件 的 重新 配置 过 程 ,从 而 让 用 户 可 以 
用 比 原本 的 组 态 更 好 的 方式 来 应 用 和 管理 这 些 资 源 。 

虚拟 化 技术 允许 一 个 平台 同时 运行 多 个 操作 系统 ,并 且 应 用 程序 可 以 在 相互 独立 的 空 
间 内 运行 而 互 不 影响 ,从 而 显著 提高 计算 机 的 工作 效率 . 它 是 一 个 为 了 简化 管理 ,优化 资源 
的 解决 方案 。 
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目前 企业 主流 的 虚拟 化 技术 包括 : KVM, Xen, VMware Esxi、VirtualBox、Docker, 虚 
拟 化 技术 越 来 越 广泛 的 应 用 在 互联 网 企业 中 ,如 百度 .京东 淘宝、 腾讯 等 。 

虚拟 化 原理 : 虚拟 化 解决 方案 的 底部 是 要 进行 虚拟 化 的 物理 机 器 ,该 物理 机 器 可 以 
直接 支持 虚拟 化 ,或 间接 支持 虚拟 化 ,那么 就 需要 虚拟 机 管理 程序 层 的 支持 。 虚 拟 机 管 
理 程序 (virtual machine monitor. VMM) ,可 以 看 作 是 平台 硬件 和 操作 系统 之 间 的 抽象 化 
或 中 间 件 。 

VMM 为 每 个 虚拟 机 分 配 一 套数 据 结 构 来 管理 它们 的 状态 ,包括 虚拟 处 理 器 的 全 套 寄 
存 器 ,物理 内 存 的 使 用 情况 、 网 络 设备 状态 .虚拟 设备 状态 等 。 

VMM 可 以 对 底层 (HostOS) 硬 件 资源 (物理 CPU 内存、 磁盘 网卡 .显卡 等 ) 进 行 封 
装 、 隔 离 ,抽象 为 另 一 种 形式 的 逻辑 资源 ,再 提供 给 上 层 (GuestOS) 虚 拟 机 使 用 ,通过 虚拟 
化 技术 实现 的 虚拟 机 被 称 为 GuestOS, 而 作为 GuestOS 载体 的 物理 主机 称 为 HostOS 
(宿主 ) 。 

虚拟 化 的 分 层 抽象 如 图 24-1 所 示 。 

虚拟 化 技术 在 技术 实现 上 通常 分 为 完全 虚拟 化 、 
半 虚 拟 化 、 轻 量 级 虚拟 化 ,以 下 为 这 三 种 虚拟 化 技术 
实现 的 区 别 : 

。 完全 拟 化 技术 ,实际 上 是 通过 软件 实现 对 操 

作 系 统 的 资源 再 分 配 ,比较 成 熟 ,如 KVM, 


userspace userspace 
(applications) | (applications) 


GuestOS GuestOS 
(virtual (virtual 
machine) machine) 












hypervisor 
VirtualBox 等 ; (virtual Suswe monitor) 
。 半 虚拟 化 技术 , 则 是 通过 代码 修改 已 有 的 系 m 
统 , 形 成 一 种 新 的 可 虚拟 化 的 系统 ,调用 硬件 


资源 去 安装 多 个 系统 ,整体 速度 上 相对 高 一 图 24-1 虚拟 化 分 层 抽象 
点 ,代表 产品 有 Xen; 
* 轻 量 级 虚拟 化 , 介 于 完全 虚拟 化 和 半 虚 拟 化 之 间 ,典型 代表 有 Docker, 


24.2 Docker 入 门 简介 


Docker 技术 类 似 码 头 上 看 到 的 集装箱 ,最 早 集装箱 没有 出 现 的 时 候 , 码 头 上 有 许多 搬 
运 的 工人 在 搬运 货物 ,有 了 集装箱 以 后 ,搬运 货物 变 得 简单 ,通过 集装箱 的 搬运 模式 更 加 单 
一 \ 高 效 ,将 货物 打包 在 集装箱 里 面 .可 以 防止 货物 之 间 相 互 影响 。 

如 果 要 将 货物 搬运 到 另外 一 个 码头 就 需要 转运 ,通过 集装箱 ,可 以 直接 把 它们 运送 到 另 
一 个 船舱 内 ,而 且 完 全 可 以 保证 里 面 的 货物 是 整体 地 搬迁 ,而 不 会 损坏 货物 本 身 。 

而 Docker 虚拟 化 正 是 基于 类 似 的 原理 ,将 原本 复杂 的 环境 打包 成 为 镜像 模板 ,然后 将 
模板 迁移 到 各 个 平台 ,可 以 快速 地 交付 使 用 ,从 而 减少 了 人 工大 量 的 干预 。 

Docker 是 一 个 开源 的 应 用 容器 引擎 ,开发 者 可 以 打包 他 们 的 应 用 以 及 依赖 包 到 一 个 可 
移植 的 容器 中 ,然后 发 布 到 任何 流行 的 Linux 机 器 上 ,进而 实现 虚拟 化 。 
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容器 是 完全 使 用 沙 箱 机 制 的 ,而且 相 互 之 间 不 会 有 任何 接口 ,几乎 没有 性 能 开销 ,可 以 
很 容易 地 在 机 器 和 数据 中 心中 运行 ,最 重要 的 是 ,它们 不 依赖 于 任何 语言 .框架 或 包括 系统 。 
Docker 应 该 是 近 些 年 最 火爆 的 技术 之 一 ,而 且 在 2018 年 将 开启 新 的 跨越 。 

Docker 自 开 源 后 受到 广泛 的 关注 和 讨论 ,以 至 于 dotCloud 公司 后 来 都 改名 为 Docker 
Inc, 直 至 最 新 改名 为 Moby。Redhat 已 经 在 其 RHEL6. 5 中 集中 支持 Docker. Google 也 在 
其 平台 即 服务 (platform -as -a -service, PaaS) 的 产品 中 广泛 应 用 Docker。 

Docker 项 目的 目标 是 实现 轻 量 级 的 操作 系统 虚拟 化 解决 方案 ,Docker 的 基础 是 Linux 
容器 (Linux container,LXC) 等 技术 ,Docker 在 LXC 技术 的 基础 上 进行 了 进一步 的 封装 ,让 
户 不 需要 去 关心 容器 的 管理 ,使 得 操作 更 为 简便 ,用 户 操 作 Docker 的 容器 就 像 操 作 一 个 
快速 轻 量 级 的 虚拟 机 一 样 简单 。 

Docker 虚拟 化 和 传统 虚拟 化 (KVM、Xen 等 ) 方 式 的 不 同 之 处 在 于 Docker 虚拟 化 可 以 
在 操作 系统 层面 上 直接 实现 App 或 者 应 用 虚拟 化 ,直接 复 用 本 地 主机 的 操作 系统 ,而 传统 
方式 则 需要 在 硬件 的 基础 上 ,虚拟 GuestOS 操作 系统 ,然后 在 GuestOS 操作 系统 上 部 署 相 
关 的 App 应 用 。 

传统 虚拟 化 方案 分 层 如 图 24-2 所 示 。 
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图 24-2 传统 虚拟 化 分 层 抽象 
Docker 虚拟 化 方案 分 层 如 图 24-3 所 示 。 
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图 24-3. Docker 虚拟 化 分 层 抽象 
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通过 如 上 对 比 , 可 以 得 出 Docker 虚拟 化 可 以 直接 在 HostOS 上 基于 VMM 启动 各 种 
App» ,而 传统 虚拟 化 需要 在 VMM 上 启动 GuestOS, 然 后 在 GuestOS 上 再 启动 App. 

Docker 虚拟 化 实施 有 以 下 三 个 概念 : 

。 Docker 镜像 ,Docker 镜像 是 一 个 静态 模板 ,与 常见 的 ISO 镜像 类 似 , 是 一 个 样板 ,不 
能 直接 修改 ,可 以 通过 封装 生成 ; 

。 Docker 容器 ,基于 Docker 镜像 运行 启动 的 应 用 或 系统 , 称 之 为 一 个 Docker 容器 或 
Docker 虚拟 机 ; 

。 Docker 仓库 ,Docker 仓库 是 存放 Docker 镜像 的 地 方 ,常见 分 为 公开 仓库 (public) 和 
私有 仓库 (private) 两 种 形式 。 


24.3 Docker LXC 及 Cgroup 


Docker 虚拟 化 的 由 来 需要 从 Docker 发 展 历史 来 看 ,最 早 的 Docker 技术 为 LXC 十 联合 
文件 系统 (another union file system. AUFS) 组 合 。Docker 0. 9. 0 版 本 开始 引入 
libcontainer, 可 以 视 作 LXC 的 替代 品 , 其 中 LXC 负责 资源 管理 ,AUFS 负责 镜像 管理 。 而 
LXC 包括 Cgroup(control groups) , Namespace, Chroot 等 组 件 ,并 通过 Cgroups 进行 资源 管理 。 

从 资源 管理 来 看 ,Docker、LXC、Cgroup 三 者 的 关系 是 Cgroup 在 最 底层 落实 资源 管理 ， 
LXC 在 Cgroups 上 封装 了 一 层 ,Docker 又 在 LXC 封装 了 一 层 ,要 想 学 好 Docker, 需 要 了 解 
负责 资源 管理 的 Cgroups # LXC, 

Cgroups 是 Linux 内 核 提 供 的 一 种 可 以 限制 ,记录 ,隔离 进程 组 (process groups) Jif {ili 
用 的 物理 资源 ,如 CPU, Memory iE Zt I0、 网 卡 流量 等 。Cgroup 最 初 由 Google 的 工程 师 
提出 ,后 来 被 整合 进 Linux 内 核 ,Cgroups 是 LXC 为 实现 虚拟 化 所 使 用 的 资源 管理 手段 ,可 
以 说 没有 Cgroups 就 没有 LXC, 没 有 LXC 就 没有 Docker. 

Cgroups 最 初 的 目标 是 为 资源 管理 提供 一 个 统一 的 框架 , 既 整 合 现 有 的 Cpuset 等 子 系 
统 ,也 为 未 来 开发 新 的 子 系统 提供 接口 。 现 在 的 Cgroups 适用 于 多 种 应 用 场景 ,从 单个 进程 
的 资源 控制 ,到 实现 操作 系统 层次 的 虚拟 化 (OS level virtualization) 。 

Linux container 容器 可 以 提供 轻 量 级 的 虚拟 化 ,以便 隔 离 进 程 和 资源 ,而 且 不 需要 提供 
指令 解释 机 制 以 及 全 虚拟 化 的 其 他 复杂 性 。 容 器 有 效 地 将 由 单个 操作 系统 管理 的 资源 划分 
到 孤立 的 组 中 ,以 便 更 好 地 在 孤立 的 组 之 间 平 衡 有 冲突 的 资源 使 用 需求 。 

传统 典型 的 Linux 文件 系统 由 bootfs 和 rootfs 两 部 分 


组 成 , bootfs (boot file system) 主 要 包含 bootloader 和 Ver 





kernel, bootloader 主要 是 引导 加 载 kernel. 当 kernel 被 加 ° 
载 到 内 存 中 后 bootfs 会 被 umount, rootfs (root file 
system) 包 含 Linux 系统 中 的 /dev,/proc,/bin,/etc 等 目录 
和 文件 等 ,如 图 24-4 所 示 。 
Docker 容器 的 文件 系统 最 早 是 AUFS 上 ,AUFS 支持 ”图 24-4 Linux 文 件 系统 组 成 
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将 不 同 的 目录 挂 载 到 同一 个 虚拟 文件 系统 下 ,并 实现 一 种 分 层 layer 的 概念 。 由 于 AUFS 
未 能 加 入 到 Linux 内 核 ,考虑 到 兼容 性 问题 ,加 入 了 device mapper 的 支持 ,Docker 目前 默 
认 运 行 在 device mapper 文件 系统 基础 上 。 

传统 的 Linux 系统 加 载 bootfs 时 会 先 将 rootfs 设 为 read-only ,系统 自 检 之 后 将 rootfs 
从 read-only 改 为 read-write, 然 后 用 户 可 以 在 rootfs 上 进行 写 和 读 操 作 。 但 Docker 的 镜像 
却 不 是 这 样 , 它 在 bootfs 自 检 完毕 之 后 并 不 会 把 rootfs 的 read-only 改 为 read-write。 而 是 
利用 union mount(UnionFS 的 一 种 挂 载 机 制 ) 将 一 个 或 多 个 read-only 的 rootfs 加 载 到 之 
前 的 read-only 的 rootfs 层 之 上 。 

加 载 多 层 rootfs 之 后 ,整体 还 是 一 个 文件 系统 ,在 Docker 的 体系 里 把 union mount 的 
这 些 read-only 的 rootfs 叫 作 Docker 的 镜像 。 每 一 层 rootfs 都 是 read-only 的 ,此 时 还 不 能 
对 其 进行 操作 , 当 创建 一 个 容器 ,需要 将 Docker 镜像 进行 实例 化 ,系统 会 在 一 层 或 是 多 层 
read-only 的 rootfs 之 上 分 配 一 层 空 的 可 读 写 的 read-write 的 rootfs, 所 以 一 个 完整 的 
Docker 镜像 是 由 单 层 或 多 层 只 读 镜像 和 一 层 可 读 可 写 层 镜像 组 成 ,如 图 24-5 所 示 。 





图 24-5 Docker 镜像 分 层 


对 于 Docker 另外 一 种 文件 系统 device mapper 来 说 ,device mapper 是 Linux 2. 6 AK 
中 支持 逻辑 卷 管理 的 通用 设备 映射 机 制 , 它 为 实现 用 于 存储 资源 管理 的 块 设备 驱动 提供 了 
一 个 高 度 模块 化 的 内 核 架构 ,device mapper 的 内 核 体系 架构 如 图 24-6 所 示 。 

device mapper 的 工作 原理 是 在 内 核 中 通过 多 个 模块 化 的 target driver 插件 实现 对 IO 
请 求 的 过 滤 或 重新 定向 等 工作 。 当 前 已 经 实现 的 target driver 插件 包括 软 raid. HINA 
辑 卷 条 带 、 多 路 径 、 镜 像 、. 快 照 linear, mirror, snapshot, multipath 等 。device mapper 进 一 
步 体 现 Linux 内 核 设 计 中 策略 和 机 制 分 离 的 原则 ,将 所 有 与 策略 相关 的 工作 放 到 用 户 空间 
完成 ,内 核 中 主要 提供 完成 这 些 策略 所 需要 的 机 制 。 

device mapper 用 户 空间 相关 部 分 主要 负责 配置 具体 的 策略 和 控制 逻辑 ,比如 多 辑 设备 
和 哪些 物理 设备 建立 映射 ,如 何 建立 映射 关系 等 ,而 具体 过 滤 和 重新 定向 IO 请 求 的 工作 由 
内 核 中 相关 代码 完成 。 因 此 整个 device mapper 机 制 由 两 部 分 组 成 ,分 别 是 内 核 空间 的 
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device mapper kernel architecture 





userspace applications 









































ioctl filesystem 
interface interface 
control interface | hioa; 
à interface 
core device mapper 
mapping/target interface 
linear | miror | snapshot multipath 
path hardware 
k 
log I copyd selectors handlers 
round-robin emc 





图 24-6 device mapper 文件 系统 


device mapper 驱动 .用户 空间 的 device mapper 库 以 及 它 提供 的 dmsetup TH. 


24.4 Docker 虚拟 化 特点 


随 着 Docker 在 互联 网 企业 中 的 不 断 应 用 ,Docker 的 优点 越 来 越 被 IT 人员 认 可 ， 
Docker 虚拟 化 跟 传统 虚拟 化 相 比 ,有 以 下 优点 : 

a 操作 启动 快 ,运行 时 的 性 能 可 以 获取 极 大 提升 ,管理 操作 (启动 ,停止 开始 ,重启 等 ) 
都 是 以 秒 或 毫秒 为 单位 的 ; 

a 轻 量 级 虚拟 化 ,用 户 会 拥有 足够 的 “操作 系统 ”, 仅 需 添加 或 减 小 镜像 即 可 , 单 台 服务 
器 上 可 以 部 署 100—1000 个 containers 容器 ,而 传统 虚拟 化 能 虚拟 10 ~~ 20 个 虚拟 机 
就 非常 不 错 了 ; 

a 开源 免费 ,成 本 低 , 由 现代 Linux 内 核 支持 并 驱动 ; 

9 前 景 及 云 支 持 ,正在 越 来 越 受 欢 迎 ,各 大 主流 公司 都 在 推动 Docker 的 快速 发 展 ,性 
能 有 很 大 的 优势 ; 

a 更 快速 地 交付 和 部 署 , Docker 在 整个 开发 周期 都 可 以 完美 的 辅助 用 户 实现 快速 
交付 ; 

a 更 快速 地 创建 及 迭代 ,Docker 能 够 快速 迭代 应 用 程序 ,并 让 整个 过 程 全 程 可 见 , 使 团 
队 中 的 其 他 成 员 更 容易 理解 应 用 程序 是 如 何 创建 和 工作 的 ; 

a 高 效 的 部 署 和 扩容 ,Docker 容器 几乎 可 以 在 任意 的 平台 上 运行 ,包括 物理 机 、 虚 拟 
机 、 公 有 云 、 私 有 云 . 个 人 电脑 、 服 务 器 等 ; 

a 更 简单 的 管理 ,使 用 Docker. 只 需要 小 小 的 修改 .就 可 以 蔡 代 以 往 大 量 的 更 新 工 
作 , 所 有 的 修改 都 以 增 量 的 方式 被 分 发 和 更 新 ,从 而 实现 自动 化 并 且 高 效 的 
管理 。 
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24.5 ”Docker 虚拟 化 原理 


Docker 虚拟 化 中 最 核心 部 分 为 Docker 引擎 ,Docker 引擎 是 一 个 C/S(client/server) 结 
构 的 应 用 ,Docker 完整 结构 组 件 如 图 24-7 所 示 。 






















container 








image 














network data volumes; 





图 24-7 Docker 引擎 结构 


Docker server 是 一 个 常 驻 进 程 ,rest API 实现 了 client 和 server 间 的 交互 协议 ,CLI 实 
现 容器 和 镜像 的 管理 ,为 用 户 提供 统一 的 操作 界面 。Docker 使 用 C/S 架构 ,client 通过 接口 
与 server 进程 通信 实现 容器 的 构建 .运行 和 发 布 ,client 和 server 可 以 运行 在 同一 台 集 群 ， 
也 可 以 通过 跨 主 机 实现 远程 通信 o 
完整 的 Docker 镜像 可 以 支撑 一 个 Docker 容器 的 运行 ,在 Docker 容器 运行 过 程 中 主要 
提供 文件 系统 数据 支撑 。Docker 镜像 作为 Docker 中 最 基本 的 概念 ,有 以 下 特性 : 
a 镜像 分 层 , 每 个 镜像 都 由 一 个 或 多 个 镜像 层 组 成 ; 
a 可 通过 在 某 个 镜像 上 加 上 一 定 的 镜像 层 得 到 新 镜像 (此 过 程 可 通过 编写 DockerFile 
或 基于 容器 commit 实现 ); 

a 每 个 镜像 层 拥有 唯一 镜像 ID: 

a 镜像 在 存储 和 使 用 时 共享 相同 的 镜像 层 (根据 ID) ,所 以 在 pull 镜像 时 ,已 有 的 镜像 
层 会 自动 跳 过 下 载 ; 

a 每 个 镜像 层 都 是 只 读 的 ,即使 启动 成 容器 ,也 无 法 对 其 真正 的 修改 ,修改 只 会 作用 于 
最 上 层 的 容器 层 。 

Docker 容器 ,可 以 理解 为 一 个 或 多 个 运行 进程 ,而 这 些 运行 进程 将 占有 相应 的 内 存 、 相 
应 的 CPU 计算 资源 .相应 的 虚拟 网 络 设备 以 及 相应 的 文件 系统 资源 。 而 Docker 容器 所 占 
的 文件 系统 资源 , 则 通过 Docker 镜像 的 镜像 层 文件 来 提供 。 

基于 每 个 镜像 的 json 文件 ,Docker 可 以 通过 解析 Docker 镜像 的 json 文件 ,获知 应 该 
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在 这 个 镜像 之 上 运行 什么 样 的 进程 ,应 该 为 进程 配置 怎样 的 环境 变量 , Docker 守护 进程 实 
现 了 静态 向 动态 的 转变 。Docker 镜像 层次 如 图 24-8 所 示 . 


宿主 机 文件 系统 内 容 

. lvar/lib/docker/containers/«id»/hosts 
/var/lib/docker/containers/<id>/hostname 
/var/lib/docker/containers/<id>/resolv.cont 


容器 进程 
只 写 读 写 层 








i 


/etc/hosts, hostsname, resolv.conf 


mount 





/var/lib/docker/volumes/<id>/_data/ 





read-write layer( 读 写 层 ) 





hosts resolv.conf 
hostname.. FE 


CMD[/run.sh'] 







init layer(RO) 





镜像 
DockerFile 生 成 


VOLUME/data 





ADD run.sh/ 





FROM ubuntu: 14.04 


宿主 机 文件 系统 内 容 


] _ 单 屋 镜像 内 容 为 空 
修改 镜像 json 文 件 





Docker 容 器 文件 系统 


图 24-8 Docker 镜像 分 层 


24.6 Docker 安装 配置 


Docker 官方 文档 要 求 部 署 Docker 虚拟 化 的 Linux kernel 至 少 在 3. 8 以 上 , 即 对 应 
的 Linux 发 行 版 为 CentOS 7. X, 如 果 为 CentOS 6. X, 那 么 CentOS 6. X 应 该 如 何 安 


装 呢 ? 


CentOS 6. X 系列 安装 Docker 软件 ,首先 要 关闭 SELinux, 然 后 需要 安装 相应 的 epel 


源 , 安 装 代码 如 下 ,详细 过 程 如 图 24-9 所 示 。 


sed - i '/SELINUX/s/enforcing/disabled/g' /etc/selinux/config 


setenfoce 0 


wget http: //ftp. riken. jp/Linux/fedora/epel/6/x86 64/epel- release - 6 - 8. noarch. rpm 


rpm - ivh epel- release - 6 - 8. noarch. rpm 


yum install lxc libcgroup device - mapper - event - libs 


yum install docker - io 


yum install device- mapper* 一 了 


Docker 安装 完毕 后 ,启动 docker 进程 /etc/init. d/docker start ,并 且 查 看 docker 进程 


ps -ef | grep docker, 如 图 24-10 所 示 。 


CentOS 7. X 系列 安装 Docker 软件 .首先 要 关闭 SELinux, 然 后 需要 安装 相应 的 epel 
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2015-01-25 21:01:42-- /ftp.riken.jp/Linux/fedc 
pm 


Resolving ftp.riken.jp 160.38 


3 1 
Connecting to riken.jp1134.160.38.11:80 


st sent ponse 200 


14540 (14K) 


]é rpm 
arning: e lease-6-8.noarch.rpm 
Preparing.. eee 
e 


Installed: 
1xc.x86 64 0:1.0.7 


40.rc1-15.e16. 6 


Dependency Updated 
ibcgroup-devel 0:0.40.rc1- el6 6 


Complete! k r 
[rootélocalhost -]# yum instal cgrou 


Installed 
docker-io.x 


ndency Instal 
bridge-urils.x86.. 


Dependency Updated 
device-mapper x86. 64 € 2.e16 device-mapper-1 


Complete! 
[rootélocalhost -]& yum install docker-io 








(c) DockerZz 4f 


图 24-9 Docker 安装 配置 


21:04 pts 
0 21:04 pts/0 
[root@localhost 





图 24-10 Docker 服务 启动 





源 ,安装 代码 如 下 ,详细 过 程 如 图 24-11 所 示 


sed - i '/SELINUX/s/enforcing/disabled/g' /etc/selinux/config 
setenfoce 0 

yum install epel- release 一 了 

yum install docker* 一 了 





[rentum jrodo-ner 
root@www-}fedu-net 
tended plugins: fastestmiri 


sitas 
updates 
Loading mirror 
* base: mirror. 
* extras: mirror 
* updates: mirror. bit: edu, cn 


Med fen cached hostfile 






e: net 


yun install docker* -y 
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package docker-| qo is obsoleted by python-docker-py, trying to insti 


ei non instead 





Dep: ancse 

~-> Running transaction check 
'ackage docker.x86 64 
--> Processina Denendencv: oci-svstemd-| 





registry js obsoleted by docker-distribution, trying to 


1.12.6-32.. [gr 27. „centos will be ir 


4-9 for nackane: 





(a) CentOS 7 Docker 服 务 安装 


[root@www-jfedu-net Jes [etc/redhat-release 
jz e 


Centos rat release 1511 (core) 


[recto fedu-net -]£ 


Bn 
rootüwww-jfedu-net -]# systemct] start docker.service 


rootüwww-jfedu-net ~ H 
rootüwww-jfedu-net ~ 
root 314 1 


runc» /usr/Tibexac/docker/docknr -rune-curpert sade 
groupdriveresystend --userland-proxy-pathe/us 
nable driver=journald --Sigrature-veri 


--1 
root — 4320 4314 0 02:35 7 








var /run/. ir /l ibcontainerd, 
terval=0 -- ae 2m st =e 
ker-runc -- emd- ct 
root n Ed % 02: 5 pes/ 





[root@ww-jfedu-net -Jë 


s ry 19rep docker 
Hola ust (bin/dockerd-cur 


fau 1t-runtime=dock« 


(i lena 

cation=false 
00:00:00 aC 

r-containerd.sock --shii 

dir var /ran docker/Vibcontainet 


7/00:00:00 grep --coloreauto de 


ont 








(b) CentOS 7 启动 Docker 服 务 


Usage: doc er [OPTIONS] COMMAND [arg. 
docker 上 --help | -v | --version ] 


A self-sufficient runtime for containers. 
Options: 
--config--/.docker 
debug 





Print us: 
og-level-info 





Location of client config files 
Enable debug mode 
Daemon Socket (5) to connect to 


Path to TLS key 
Use TLS and verify the remote 


(c) CentOS 7 Docker 命 令 帮 助 


图 24-11 


24.7 Docker 必 备 命令 


CentOS 7 Docker 安装 


对 Docker 技术 的 深入 学 习 , 需 要 构建 Docker 基础 环境 ,熟练 使 用 Docker 各 种 语法 命 
令 , 要 模拟 Docker 虚拟 化 环境 , 需 下 载 Docker 镜像 .通过 命令 在 宿主 机 服务 器 上 直接 下 载 


Docker 公共 仓库 的 镜像 ,具体 步骤 如 下 : 


公共 仓库 Nginx 和 CentOS 镜像 下 载 以 及 本 地 导入 CentOS 镜像 ,执行 如 下 命令 ,详细 


过 程 如 图 24-12 所 示 。 


docker pull nginx 
docker pull centos 
cat jfedu centos68.tar |docker import - centos 


# Docker 下 载 Nginx 镜 像 
# Docker 下 载 CentOS 镜像 
间 本 地 导入 Centos 镜像 


482 <| 曝光 : Linux 企 业 运 维 实战 





roo -]# docker pull nginx 
Eze Pulling from ja nx 


5288d571febl: Pulling fs layer 
03590b92b85e : 


$226a97d5dde: Pulling fs layer 
96fa29e2b3d5: Download complete 
ce26041d2f2f: Download complete 
171fcc793765: Pulling fs layer 
71326c378a50: Download complete 


(a) 官网 下 载 Docker Nginx 镜 像 
rootüww-Jtedu-net -|4 
rootêww-jfedu-net + 
Ë Ea # docker pull centos 

ling from centos 


d9cdac769794: Downloading [> 
8b7795bcb4f9: Download complete 
f3bSSddaedl6: Download complete 


'Oot www: 
atest: Pu 


(b) 官网 下 载 Docker CentOS ti fe 
UUme eu mye cu 
‘root@www-jfedu-net ~]# 
rootàww-jfedu-net -]# 11 jfedu centos68.tar 
-rw-r--r-- l root root 668053504 Jan 5 2017 jfedu centos68.tar 
'ootüww-jfedu-net ~]# 


ri t 

Festo {fed net da Zu centos68.tar ri 
sha256: ab80c656625 1bd: 17500; 7 f027bb3eb254 3eelaí ti A 
rootww- j fedu-net 


[osten fedu-net 3 docker images 





IMAGE ID CREATED 
centos Sese ab80c6566251 8 second 
[rer eut e mls 

root redu 
(c) 本 地 导入 Docker CentOS fii (fg 


图 24-12 F 4% Docker Nginx, CentOS 镜像 及 导入 CentOS 镜像 


对 Docker 的 管理 除了 可 以 下 载 镜像 .导入 镜像 之 外 ,还 要 掌握 如 下 命令 : 
docker version: 查看 Docker 版 本 。 

docker search CentOS: 搜索 可 用 Docker 镜像 。 

docker images: 查看 当前 Docker 所 有 镜像 。 

docker pull CentOS: 下 载 CentOS 镜像 。 

cat xxx|docker import - newname: 本 地 导入 Docker 镜像 。 

docker export container id > cenos6. tar: Docker 导出 镜像 。 

docker run CentOS echo "hello world": 在 Docker 容器 中 运行 hello world, 
docker run CentOS yum install ntpdate; 在 容器 中 安装 ntpdate 的 程序 。 
docker ps -1: 获得 最 后 一 个 容器 的 ID, 

docker ps -a: 查看 所 有 的 容器 。 

docker commit 87e2313132 CentOS:v1: 提交 刚 修改 的 容器 。 

docker run -i -t -d CentOS /bin/bash: 启动 Docker 镜像 ,-d 表示 后 台 启 动 ,-t 表示 
打开 终端 ,-i 表示 交互 输入 。 

a Docker stop id: 关闭 Docker 容器 。 


D D DD DDD OD DOD D 59 


24. 


默认 
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Docker start id: 启动 Docker 容器 。 

docker rm id: 删除 Docker 容器 。 

docker rmi images: 删除 Docker 镜像 。 

docker run -d -p 80:80 -p 8022:22 CentOS: v2: -p 表示 指定 Docker 容器 端口 映射 ， 
如 80:80, 第 一 个 80 表示 宿主 机 本 地 端口 ,第 二 个 80 表示 Docker 容器 中 端口 ,用户 
默认 访问 宿主 机 80 端口 ,自动 NA T 映射 到 容器 中 80 端口 。 

a docker exec -it docker id /bin/bash: 进入 Docker 容器 shell 终端 。 

a docker exec docker id df -h: 查看 Docker 容器 内 部 磁盘 分 区 。 


8 Docker 网 络 详解 


基于 Docker run 创建 Docker 容器 时 ,可 以 使 用 --net 选项 指定 容器 的 网 络 模式 ,Docker 
有 以 下 4 种 网 络 模式 : 

a host 模式 ,使 用 --net 二 host 指定 ; 

a container 模式 ,使 用 --net 二 container:NAME_or_ID 指定 ; 

Q none 模式 ,使 用 --net 二 none 指定 ; 

a bridge È. fili H]--net — bridge 指定 ,默认 设置 。 

Docker 4 种 网 络 模式 详解 如 下 : 

host 模式 详解 ,基于 host 模式 ,容器 将 不 会 获得 一 个 独立 的 network namespace, 而 
是 与 宿主 机 共用 一 个 network namespace, 容 器 将 不 会 虚拟 出 自己 的 网 卡 .配置 自己 
的 IP 等 ,而 是 使 用 宿主 机 的 IP 和 端口 。 

container 模式 详解 ,理解 host 模式 后 ,container 模式 也 非常 好 理解 ,container 模式 
指定 新 创建 的 容器 和 已 经 存在 的 一 个 容器 共享 一 个 network namespace, 而 不 是 和 
宿主 机 共享 。 即 新 创建 的 容器 不 会 创建 自己 的 网 卡 、 配 置 自己 的 IP, 而 是 和 一 个 指 
定 的 容器 共享 IP、 端 口 范 围 等 。 同 样 两 个 容器 除了 网 络 方面 相同 之 外 ,其 他 的 如 文 
件 系 统 、 进 程 列表 等 还 是 隔离 的 。 

none 模式 详解 , none 模式 与 其 他 的 模式 不 同 ,如 果 Docker 容器 处 于 none 模式 ， 
Docker 容器 拥有 自己 的 network namespace, 但 是 并 不 为 Docker 容器 进行 任何 网 络 
配置 。 该 Docker 容器 没有 网 卡 .IP .路 由 等 信息 ,需要 手工 为 Docker 容器 添加 网 卡 、 
配置 IP 等 ,典型 pipework 工具 为 Docker 容器 指定 IP 等 信息 。 

bridge 桥接 模式 详解 ,bridge 模式 是 Docker 默认 的 网 络 模式 ,该 模式 会 为 每 一 个 容 
器 分 配 network namespace, i # IP、 路 由 等 配置 ,默认 会 将 Docker 容器 连接 到 一 个 
虚拟 网 桥 交换 机 docker0 上 ,本 文采 用 bridge 模式 ,如 图 24-13 所 示 为 桥接 模式 拓 
扑 图 。 
默认 使 用 Docker 命令 创建 Docker 容器 网 络 为 bridge 模式 ,以 下 为 Docker bridge 创建 
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过 程 : 
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Q 启动 Docker 容器 ,首先 会 在 Docker 宿主 host 
机 上 创建 一 对 虚拟 网 卡 veth pair 设备 ， | dockerl docker2 
nas asan sam sa 172.17.0.1/16 172.17.0.2/16 
据 通道 ,数据 从 一 端 设备 进入 ,就 会 从 另 一 ns zu: 
端 设备 出 来 , veth 设备 常用 来 连接 两 个 网 ( etho ) eth0 
络 设备 ; 

a Docker 将 veth pair 设备 的 一 端 放 在 新 创 
建 的 容器 中 ,并 命名 为 eth0 ,然后 将 另 一 端 Cut) Censo 
放 在 宿主 机 中 ,以 vethxxx 这 样 类 似 的 名 docker0 172.17.42.1/16 
字 命名 ,并 将 这 个 网 络 设备 加 入 到 docker0 10.10.101.105/24 
网 桥 中 ; 

a 从 docker0 子 网 中 分 配 一 个 IP 给 容器 使 24-13 Docker 桥接 网 络 拓扑 图 


用 ,并 设置 docker0 的 IP 地 址 为 容器 的 默 

UME; 

此 时 ,容器 IP 与 宿主 机 能 够 通信 ,宿主 机 也 可 访问 容器 中 的 TP 地 址 ,在 bridge 模式 
下 , 连 在 同一 网 桥 上 的 容器 之 间 可 以 相互 通信 ,同时 容器 也 可 以 访问 外 网 ,但 是 其 他 
宿主 机 不 能 访问 Docker 容器 IP, 需 要 通过 NAT 将 容器 IP 的 port 映射 为 宿主 机 的 
IP 和 port, 方 可 使 用 。 


24.9 Docker 桥接 配置 


Docker 容器 默认 使 用 docker0 桥接 网 络 ,IP 地 址 会 自动 分 配 , 每 个 容器 都 是 连接 到 
docker0 网 桥 上 的 。 如 果 想 让 容器 与 宿主 机 同一 网 段 的 其 他 宿主 机 之 间 能 访问 , 须 在 启动 
Docker 的 时 候 将 Docker 容器 的 某 个 端口 映射 到 该 宿主 机 的 端口 ,其 他 宿主 机 连接 Docker 
宿主 机 的 IP 和 port 即 可 。 

在 生产 环境 中 可 以 自 定义 Docker 桥接 网 卡 .好 处 是 可 以 设置 Docker 容器 的 IP 5j fit 
主机 同 网 段 , 无 须 NAT 映射 端口 访问 ,更 加 方便 、 快 捷 , 同 时 也 可 以 基于 pipework 脚本 为 
Docker 容器 指定 静态 IP 地 址 ,以 下 为 Docker 自 定义 桥接 网 络 的 配置 方法 ,执行 代码 


D 


如 下 : 
yum install bridge- utils # 安 装 bridge 相关 库 支持 
/etc/init. d/docker stop + f& IF. Docker 服务 
ifconfig docker0 down # XH docker0 
brct1 delbr docker0 并 删除 docker 
brctl addbr bro 并 创建 br0 网 桥 
ip link set dev br0 up 并 开启 bro 网 桥 


ip addr add 192.168.1.6/24 dev br0 # J bro 分 配 物理 网 络 中 的 IP 地 址 
ip addr del 192.168.1.6/24 dev ens0 并 将 宿主 机 网 卡 的 IP 清空 


. BR  RDokorB HERE | as 


brctladdif br0 ethO 井 将 宿主 机 etho 网 卡 挂 到 bro 上 
ip route del default 并 删除 原 路 由 
ip route add default via 192.168.1.6 dev br0 # Jy bro 设置 路 由 


如 果 Docker 宿主 机 操作 系统 为 CentOS 6. X. Docker 启用 bro 设置 如 下 : 


vin /etc/sysconfig/docker 
other args = " — b = br0" 





上 述 配置 方法 比较 烦琐 ,生产 环境 建议 直接 通过 创建 网 桥 bro 配置 文件 实现 桥接 ,在 
/etc/sysconfig/network-scripts/ 下 ,修改 原 ifcfg-etho 网 卡 配置 ,同时 增加 ifcfg-br0 桥接 网 
卡 配置 ,操作 步骤 如 下 。 

(1) vi ifcfg-etho 内 容 修改 为 如 下 : 


DEVICE = eth0 

BOOTPROTO = none 

NM CONTROLLED = no 
ONBOOT = yes 

TYPE = Ethernet 

BRIDGE = "br0" 

IPADDR = 192.168.1.6 
NETMASK = 255.255.255.0 
GATEWAY = 192.168.1.254 
USERCTL = no 


(2) vi ifcfg-bro 内 容 如 下 : 


DEVICE = "br0" 
BOOTPROTO = none 
IPV6INIT = no 

NM CONTROLLED = no 
ONBOOT = yes 

TYPE - "Bridge" 

IPADDR = 192.168.1.6 
NETMASK = 255.255.255.0 
GATEWAY = 192.168.1.254 
USERCTL = no 


(3) Docker 桥接 网 卡 配置 完毕 ,直接 重启 network 服务 即 可 。 
/etc/init. d/network restart 


(4) 修改 Docker 桥接 网 卡 为 bro. 5 Docker 宿主 机 操作 系统 为 CentOS 7. X. 
Docker 启用 bro 设置 如 下 ,然后 重启 Docker 服务 即 可 ,最 终 网 卡 配 置信 息 如 图 24-14 所 示 。 


vim /etc/sysconfig/docker - network 
DOCKER NETWORK OPTIONS = " — b = br0" 
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图 24-14. 宿主 机 网 桥 bro 配置 





启动 新 Doc ,使 用 命令 docker attach 容器 ID x docker exec -it 
bin/bash 进入 容器 ,如 图 24-15 所 示 ,会 自动 分 配 192.168. 1. 2 IP 地 址 


[root localhost 
CONTAINER ID T COMMAND CREATED 


STATUS NAMES 
a4cae461d348 jdeathe/centos-ssh “sbinsbash” 5 hours ago 
Exited (-127) 32 sago 2 p thirsty_payne 
[root@localhost ~]# docker start a4cae4614348 
a4cae4614348 
[root@localhost ~]# 
[root@localhost ~J 


T 614349:/[rootga4cae461d4348 718 
TM 614348: [root@a4cae4614348 718 ifconfig ethB 
ET] Link enc addr 92:42:CB:n8:81:92 
inet addb:192.168.1 Bcast:8.8.8.8 Mask:255.255 
inet6 adl Au ff :fea8:182/64 Scope:Link 
UP BROADCAST RUNNI MTU:1588 Metric:1 
RX packets :81 errors:@ dropped:8 overruns :8 frame: 
TX packets :6 errors:@ dropped:8 overruns:@ carrier:B 
collisions:@ txqueuelen:B 
RX bytes :8845 (7.8 KiB) TX bytes:468 (468.8 b) 


;8a4cae461d348:7[root8a4cae461d348 718 _ 








24-15 Docker 4 KHK bro 网 段 IP 





通过 配置 bro 桥接 网 卡 , 快 器 快速 获取 动态 IP 地 址 ,生产 环境 服务 器 
的 IP 均 为 静态 IP. SEF pipework 工具 为 Docker 容器 指定 静态 IP 地 址 ,以 下 为 pipework 
工具 配置 Docker 容器 静态 IP 地 址 的 方法 ,通过 pipework 指定 的 静态 IP. 当 容 器 重启 之 后 ， 
静态 IP 会 丢失 ,所 以 启动 容器 之 前 需 重新 指定 该 IP, 也 可 以 通过 shell 脚本 自动 配置 IP, 代 
码 如 下 : 












# 安装 pipework 工具 
git clone https://github. com/jpetazzo/pipework 
e ~ 人 /usr/local/bin/ 


启动 新 的 Docker 4 网 络 设置 为 none, 名 称 设 置 为 lamp2 
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docker run — itd —— net = none —- name = lamp2 CentOS 7 /bin/bash 
# 基 于 pipework 设置 Docker 容器 IP Jy 192.168.1.11, WKH 192. 168.1. 6, Docker 容器 IP F WHE 
# 码 为 255.255.255.0 
pipework br0 lamp2 192.168.1.11/24@192.168.1.6 


查看 Docker 容器 IP 地 址 ,执行 代码 如 下 ,结果 如 图 24-16 所 示 。 





docker exec lamp2 ifconfig 





图 24-16 Docker 容器 pipework 静态 配置 IP 


24.10 DockerFile 参数 详解 


DockFile 是 一 种 能 被 Docker 程序 解释 的 脚本 ,DockerFile 由 多 条 指令 组 成 ,每 条 指令 
对 应 Linux 系统 中 不 同 的 命令 ,基于 DockerFile 可 以 自 定义 创建 生产 环境 所 需 的 Docker 
镜像 ,通过 镜像 可 以 启动 所 需 的 Docker 容器 

Docker 程序 将 这 些 DockerFile 指令 翻译 为 真正 的 Linux 命令 ,DockerFile 有 特定 的 书 
写 格式 和 支持 的 命令 ,Docker 程序 解决 这 些 命 令 间 的 依赖 关系 ,类似 于 Linux 系统 中 编译 
软件 所 使 用 的 MakeFile 文件 

Docker 程序 可 以 读 取 DockerFile 文件 ,根据 指令 生成 定制 的 image. 定制 自己 额 
外 的 需求 时 ,只 需 在 DockerFile 上 添加 或 修改 指令 ,重新 生成 image Hl nf . 去 Thh 命令 的 
麻烦 ,以 下 为 DockerFile 镜像 制作 常用 的 命令 详解 : 

a FROM < image >:<t : FROM 指令 表示 指定 一 个 基本 的 镜像 源 ,或 从 公共 库 拉 

取 一 本 文件 第 一 行 必须 指定 FROM 基础 镜像 源 。 

a MAINTAINER: 设置 DockerFile 编写 人 或 维护 者 的 信息 。 

a LABEL < key »— value >; 设置 ,采用 键 值 对 的 形式 。 

0 RUN <command > : 核心 指令 , 表 TAY Linux 指令 ,每 条 RUN 指令 在 当前 基础 

镜像 上 执行 ,并 且 提 交 成 为 新 的 镜像 。 

a EXPOSE < port > [< port >]: 用 来 指定 Docker 容器 中 监听 的 端口 ,用 于 外 界 宿主 机 

互联 访问 ,启动 Docker 时 ,可 以 通过 -P, 主 机 会 自动 分 配 一 个 端口 号 转发 到 指定 的 











488 大 曝光 : Linux 企 业 运 维 实战 


端口 。 
a ENV < key >=< value >; 设置 环境 变量 ,执行 RUN 指令 及 Docker 启动 时 被 引用 。 
a WORKDIR /path/to/workdir: 设置 工作 目录 ,执行 RUN. ADD,COPY,ENV 指令 
时 的 基础 路 径 。 
a COPY <src >< dest >#ll ADD <src > < dest >; Linux 系统 增加 及 复制 文件 ,ADD 在 
Al COPY 相同 的 基础 上 ,ADD 允许 < src > 是 一 个 URL, 同 时 ADD 的 < src > 是 一 个 
压缩 格式 文档 ,< src > 将 会 解压 缩 复 制 。 
a CMD fll ENTRYPOINT: 配置 Docker 容器 启动 后 执行 的 命令 ,每 个 DockerFile 至 
少 指定 一 个 CMD 命令 或 ENTRYPOINT ,两 者 都 可 以 指定 shell 或 exec 函数 调用 
的 方式 执行 命令 ,默认 DockerFile run 启动 镜像 之 后 便 会 退出 容器 ,需要 一 个 长 时 间 
运行 的 命令 ,使 得 容器 一 直 执行 。 
CMD 和 ENTRYPOINT 的 详解 如 下 。 
a CMD [ "executable" ,"paraml","param2"]: 运行 一 个 可 执行 的 文件 并 提供 参数 。 
a CMD ["paraml","param2"]: 为 ENTRYPOINT 指定 参数 。 
a CMD command param] param2 : 以 /bin/sh -c 的 方法 执行 的 命令 。 
a ENTRYPOINT [ "executable", "paraml". "param2"] : 首选 执行 形式 。 
a ENTRYPOINT command param] param2: 以 /bin/sh -c 的 方法 执行 的 命令 。 
CMD fil ENTRYPOINT 的 区 别 如 下 : 
每 个 DockerFile 只 能 有 一 个 CMD/ENTRYPOINT 指令 ,超过 一 个 CMD 只 有 最 后 一 
个 生效 
CMD 在 运行 时 会 被 Docker run command 指定 命令 覆盖 ,而 ENTRYPOINT 不 会 被 运 
行 时 Docker run command # 55: 
DockerFile 中 同时 设置 CMD 和 ENTRYPOINT, Docker 在 build 过 程 中 会 将 CMD 中 
指定 的 内 容 作 为 ENTRYPOINT 的 参数 ; 
如 果 Docker 启动 需 运行 多 个 启动 命令 .彼此 之 间 可 以 使 用 &&&& 分 开 , 最 后 一 个 命令 必 
须 为 无 限 运行 的 命令 ,否则 启动 的 容器 将 会 被 退出 。 
a VOLUME [DIR] : 设置 本 地 挂 载 目录 , 用 于 存放 数据 库 和 需要 保持 的 数据 。 
a USER daemon: 指定 Docker 运行 时 的 用 户 名 或 UID, 后 续 的 RUN 也 会 使 用 指定 
用 户 。 
a ONBUILD [INSTRUCTION ]: 配置 当前 所 创建 的 镜像 作为 其 他 新 创建 镜像 的 基础 
镜像 时 ,所 执行 的 操作 指令 。 


24.11 DockerFile 企业 案例 一 


基于 DockerFile 相关 指令 ,可 以 在 Docker 宿主 机 上 编写 DockerFile 文件 ,本 案例 为 实 
现 Docker 容器 运行 ,并 对 外 开启 22 端口 ,DockerFile 代码 如 下 : 
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# 设置 基本 的 镜像 ,后 续 命令 都 以 这 个 镜像 为 基础 

FROM CentOS lamp:vl 

2 作者 信息 

MAINTAINER JFEDU. NET 

# RUN 命令 会 在 上 面 指定 的 镜像 里 执行 任何 命令 

RUN yum install passwd openssl openssh- server -y 

RUN echo '123456' | passwd -- stdin root 

RUN sed — i '/*session\s\ + required\s\ + pam. loginuid. so/s/^ / & /' /etc/pam. d/sshd 
RUN mkdir - p /root/.ssh && chown root. root /root && chmod 700 /root/.ssh 

RUN nkdir /var/run/sshd 

井 暴露 ssh 端口 22 

EXPOSE 22 

# 设 定 运行 镜像 时 的 默认 命令 并 且 打 印 Docker IP 地 址 ,以 daemon 方式 启动 sshd 

CMD ip addr 1s eth0 | awk '(print $2}' | egrep -o '([0- 9] +\.){3}[0- 9] + ';/usr/sbin/sshd -D 


24.12 DockerFile 企业 案例 二 


基于 DockerFile 相关 指令 ,可 以 在 Docker 宿主 机 上 编写 DockerFile 文件 ,本 案例 为 实 
Jil Docker 容器 运行 ,并 对 外 开启 80 端口 ,DockerFile 代码 如 下 : 


# 设置 基本 的 镜像 ,后 续 命 令 都 以 这 个 镜像 为 基础 
FROM CentOS lamp:vl 

# 作者 信息 

MAINTAINER JFEDU. NET 

* RUN 命令 会 在 上 面 指定 的 镜像 里 执行 任何 命令 
RUN yum install pcre- devel — y 

RUN yum install httpd httpd- devel - y 

RUN echo "< hl > The Test Page JFEDU </hl >" »»/var/www/htnl/index.html 
# 暴露 ssh 端口 80 

EXPOSE 80 

# JA 5 httpd 

CMD ["/usr/sbin/apachectl", " — D", "FOREGROUND" ] 


24.13 DockerFile 企业 案例 三 


基于 DockerFile 相关 指令 ,可 以 在 Docker 宿主 机 上 编写 DockerFile 文件 ,本 案例 为 实 
现 Docker 容器 运行 ,并 对 外 开启 3306 端口 ,DockerFile 代码 如 下 : 


FROM CentOS:v1 

RUN groupadd - r mysql && useradd -r - g mysql mysql 
RUN install - y gcc zlib- devel gd- devel 

ENV MYSQL MAJOR 5.6 

ENV MYSQL VERSION 5.6.20 

RUN 
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&& curl — SL "http://dev. mysql. com/get/Downloads/MySQL — $MYSQL MAJOR/mysql — $MYSQL_ 
VERSION- linux- glibc2.5 - x86_64. tar. gz" - o mysql. tar. gz V 
&& curl - SL "http: //mysq1. he. net/Downloads/MySQL — $MYSQL_MAJOR/mysql - $MYSQL VERSION 
—-linux- glibc2.5 - x86 64.tar.gz.asc" — o mysql.tar.gz.asc V 
&& mkdir /usr/local/mysql \ 
&& tar — xzf mysql. tar.gz - C /usr/local/mysql V 
&& rm mysql. tar. gz * \ 
ENV PATH $PATH:/usr/local/mysql/bin: /usr/local/mysql/scripts 
WORKDIR /usr/local/mysql 
VOLUME /var/lib/mysql 
EXPOSE 3306 
CMD ["nysqld", " —- datadir = /var/lib/mysql", " —- user = mysql"] 


24.14 DockerFile 企业 案例 


JE T DockerFile 相关 指令 ,可 以 在 Docker 宿主 机 上 编写 DockerFile 文件 ,本 案例 为 实 
I Docker 容器 运行 ,并 对 外 开启 8080 端口 ,DockerFile 代码 如 下 : 


FROM CentOS: v1 

+ i ft DockerFile 运 行 工 作 目 录 

WORKDIR /tmp 

井 安装 JAVA JDK 

RUN wget -- no- cookies -- no - check - certificate -- header "Cookie:gpw e24 = http % 3a% 
2f % 2fwww. oracle. com % 2ftechnetwork % 2f java * 2f javase % 2fdownloads % 2fjdk7 — downloads 一 
1880260. html; oraclelicense = accept - securebackup - cookie" http: //download. oracle. com/otn — 
pub/java/ jdk/7u79 — b15/jdk — 7079 - linux - x64. tar. gz 

RUN tar - zxf jdk - 7u79 - linux - x64. tar. gz 

RUN mkdir - p /usr/java/ 

RUN mv jdk1.7.0 79 /usr/java/ 

# 配 置 环境 变量 

ENV JAVA HOME /usr/java/jdkl.7.0 79/ 

ENV JRE HOME $JAVA HOME/jre 

ENV CLASSPATH .: $JAVA HOME/lib: $JRE_HOME/1ib 

ENV PATH $PATH: $JAVA HOME/bin 

+ RACAL tomcat 服务 

RUN wget http: //mirror. bit. edu. cn/apache/tomcat/tomcat - 7/v7. 0. 62/bin/apache - tomcat - 7.0. 
62. tar.gz 

RUN tar xvf apache - tomcat - 7.0.62. tar.gz 

RUN mv apache - tomcat - 7.0. 62 /usr/local/tomcat/ 

# 配置 tomcat 环境 变量 

ENV CATALINA HOME /usr/local/tomcat/ 

EXPOSE 8080 

# 设 置 tomcat 自 启动 

CMD [ "/usr/local/tomcat/bin/catalina. sh", "run" ] 


24.15 Docker 磁盘 扩容 


device mapper 是 Linux 2. 6 内 核 中 提供 的 一 种 从 逻辑 设备 到 物理 设备 的 映射 框架 机 
制 ,device mapper driver 默认 会 创建 一 个 100GB 的 存储 文件 , 主要 用 于 存储 镜像 和 容器 ,每 
一 个 容器 都 被 限制 在 10GB 大 小 的 卷 内 ,也 可 以 基于 loopback 自动 创建 稀疏 文件 ,具体 为 
HH / var/lib/docker/devicemapper/devicemapper 下 的 data 和 metadata 实现 动态 磁盘 扩容 ， 
默认 创建 的 100GB 存储 总 空间 和 Docker 容器 10GB 空间 是 无 法 满足 生产 环境 应 用 的 , 需 
要 扩大 Docker 总 容量 和 Docker 容器 的 rootfs 根系 统 大 小 。 

Docker 服务 在 启动 的 时 候 可 以 配置 device mapper 的 启动 参数 ,docker -d --storage- 
opt dm. foo= bar. # MA Rin F 。 
dm. basesize: 默认 为 10GB, 限 制 容器 和 镜像 的 大 小 。 
dm. loopdatasize: 存储 池 大 小 ,默认 为 100GB。 
dm. datadev: fffifill Gt 4 . /var/lib/docker/devicemapper/devicemapper/data. 
dm. loopmetadatasize: 元 数据 大 小 ,默认 为 2GB。 
dm. metadatadev; 元 数据 设备 ,/var/lib/docker/ devicemapper/ devicemapper/ metadata, 
dm. fs: 文件 系统 ,默认 为 ext4。 
dm. blocksize blocksize: 默认 为 64KB。 
dm. blkdiscard: 默认 为 true。 

将 Docker 默认 存储 池 从 100GB 扩大 到 2TB, 存 储 池 元 数据 从 2GB 扩大 到 10GB, 执 行 
命令 如 下 : 


D O D D DD oo 


rm - rf /var/lib/docker/devicemapper/devicemapper 

mkdir -p /var/lib/docker/devicemapper/devicemapper 

dd if = /dev/zero of = /var/1ib/docker/devicemapper/devicemapper/data bs = 1G count = 0 seek = 2000 

dd if = /dev/zero of = /var/1ib/docker/devicemapper/devicemapper/metadata bs = 1G count = 0 seek = 10 

还 可 以 通过 配置 文件 直接 添加 以 下 代码 实现 将 Docker 默认 存储 池 从 100GB 扩大 到 
2TB, 存 储 池 元 数据 从 2GB 扩大 到 10GB, 修 改 配置 文件 /etc/sysconfig/docker-storage, 加 
入 如 下 代码 : 

DOCKER STORAGE OPTIONS = " -- storage - opt dm. loopdatasize = 2000G -- storage - opt dm. 

loopmetadatasize = 10G -- storage - opt dm. fs = ext4" 

上 述 配 置 完毕 后 ,重启 Docker 服务 即 可 ,新 生成 的 Docker 容器 磁盘 大 小 即 可 生效 ,如 
果 不 在 配置 文件 中 指定 ,还 可 以 基于 以 下 命令 直接 启动 ,生产 环境 推荐 修改 配置 文件 ,而 不 
推荐 命令 行 方式 直接 启动 ,执行 命令 如 下 : 

docker -d -- storage - opt dm. loopdatasize = 2000G -- storage - opt dm. loopmetadatasize = 10G 

—- storage - opt dm. fs = ext4 
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以 上 方法 只 适用 于 新 容器 生成 ,并 且 修 改 后 需要 重启 Docker, 无 法 做 到 动态 地 给 正在 
运行 的 容器 指定 大 小 ,基于 现 有 容器 在 线 扩容 ,宿主 机 文件 系统 类 型 支持 ext2、ext3、ext4， 
不 支持 XFS。 以 下 为 Docker 在 线 扩容 的 方法 。 

(1) 查看 原 容 器 的 磁盘 空间 大 小 ,如 图 24-17 所 示 。 








716560 


° v/mapp: 
1 root root 12:4 c -8:2-1704214-449c143b14b12e08 

a2e39a5f44 38b jlcca 43 - 
45 /dev/mapper/docker-8:2-1704214-pool - /dm-0 





图 24-18 ”Docker 容器 对 应 的 device mapper 设备 





(3) 查看 Docker mapper 卷 信息 表 , 如 图 24-19 所 示 


dev/mapper. 
- /dm-1 
dev/mapper /do 
1cca 
0 thin 








图 24-19 Docker 容器 对 应 的 mapper 信息 表 


OD 计算 扩容 扇 区 大 小 

如 图 24-19 所 示 20971520 数字 表示 设备 的 大 小 ,表示 有 多 少 个 512B WAK., xx fü 
略 高 于 10GB 的 大 小 ,将 原 10GB 的 空间 扩容 为 15GB, 计 算 15GB 的 空间 所 需 扇 区 的 大 小 ， 
计算 命令 如 下 : 

echo $((15 * 1024 * 1024 * 1024/512)) 


31457280 


然后 修改 Docker 容器 卷 信息 表 、 激 活 并 且 验 证 ,使 用 echo 命令 将 新 的 扇 区 大 小 写 入 ， 
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只 是 改变 20971520 的 数字 为 31457280, 其 他 数字 不 变 , 通 过 命令 dmsetup resume 将 修改 
后 的 容器 文件 激活 ,通过 命令 dmsetup table 查看 最 新 Docker 扇 区 信息 ,如 图 24-20 所 示 。 


dmserup load docker-8:2-1704214-449c143b14b 


e docker-8:2-1704214-449c143b14b12e08807165602eff78ca2e39a5f44 





图 24-20 Docker 容器 扩容 过 程 


[roocelocalh s_/dev/mapper /docker 
a5f444 








21 Docker 容器 设备 扩容 
(6) 验证 Docker rootfs 磁盘 大 小 ,如 图 24-22 所 示 


troot@localhost -]# docker attach 449c143b14b1 


[root@449c143b14b1 /]# 
[root@449c143b14b] /]# 
449c143bl j 

" 


np 
etc/resolv.conf 
etc/hostnam 





图 24-22 Docker 容器 扩容 为 15GB 


通过 上 述 步 又 成 功 地 将 Docker 容器 的 10GB 空间 扩容 为 15GB, 还 可 以 将 上 述 步 又 写 
成 shell 脚本 ,基于 脚本 参数 快速 扩容 。 给 Docker 磁盘 扩容 除了 采用 以 上 方法 外 ,还 可 以 使 
用 挂 载 目 录 方 法 ,基于 -v 参数 ,在 启动 Docker 容器 时 指定 








24.16 Docker 构建 私有 仓库 


Docker 镜像 默认 存放 在 仓库 中 .Docker RES 为 公共 仓库 和 私有 仓库 , 随 着 公司 业务 
的 发 展 ,Docker 镜像 的 种 类 也 非常 繁多 ,为 了 统一 管理 ,可 以 基于 registry 搭建 本 地 私有 
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仓库 。 


已 不 


使 用 Docker 私有 仓库 有 以 下 优点 : 

a 节省 网 络 带宽 ,针对 每 个 镜像 不 用 去 Docker 官网 仓库 下 载 ; 

a Docker 镜像 从 本 地 私有 仓库 中 下 载 ; 

a 构建 公司 内 部 私有 仓库 ,方便 各 部 门 使 用 ,服务 器 管理 更 加 统一 ; 

a 可 以 基于 GIT 或 SVN Jenkins 更 新 本 地 Docker 私有 仓库 镜像 版 本 。 

官方 提供 Docker registry 来 构建 本 地 私有 仓库 ,目前 最 新 版 本 为 v2, 最 新 版 的 Docker 
再 支持 vl, registry v2 使 用 Go 语言 编写 ,在 性 能 和 安全 性 上 做 了 很 多 优化 ,重新 设计 


了 镜像 的 存储 格式 。 以 下 为 Docker 本 地 私有 仓库 的 构建 方法 及 步骤 。 


存放 
内 的 


(1) F Docker registry 镜像 .命令 如 下 : 
docker pull registry 
(2) 启动 私有 仓库 容器 ,启动 命令 如 下 : 


mkdir - p /data/registry/ 
docker run - itd -p 5000:5000 - v /data/registry:/tmp/registry docker. io/registry 


Docker 本 地 仓库 启动 后 台 容 器 ,如 图 24-23 所 示 o 





图 24-23 启动 Docker 仓库 容器 


默认 情况 下 ,会 将 仓库 存放 于 容器 内 的 /tmp/registry 目录 下 ,这样 如 果 容 器 被 删除 , W 
于 容器 中 的 镜像 也 会 丢失 ,所 以 一 般 情况 下 会 指定 本 地 /data/registry 目录 挂 载 到 容器 
/tmp/registry 下 。 


(3) 上 传 镜像 至 本 地 私有 仓库 。 客 户 端 上 传 镜像 至 本 地 私有 仓库 ,以 busybox 镜像 为 


例 ,将 busybox 上 传 至 私有 仓库 服务 器 ,命令 如 下 : 


docker pull busybox 
docker tag busybox 192. 168.1. 123:5000/busybox 
docker push 192.168.1.123:5000/busybox 


(4) 检测 本 地 私有 仓库 ,命令 如 下 : 


curl — XGET http://192.168.1.123:5000/v2/ catalog 
curl - XGET http: //192.168.1.123:5000/v2/busybox/tags/list 
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(5) 客户 端 使 用 本 地 私有 仓库 。 在 客户 端 Docker 配置 文件 /etc/sysconfig/docker 中 添 








加 以 下 代码 ,同时 Docker 服务 ,获取 本 地 私有 仓库 ,如 图 24-24 Bros + 
OPTIONS = ' -- selinux - enabled -- log - driver = journald -- signature - verification = false 
—- insecure - registry 192.168.1.123:5000" 
ADD REGISTRY = ' —— add - registry 192.168.1.123:5000" 





图 24-24 使 用 本 地 Docker 私有 仓库 


至 此 ,Docker 本 地 私有 仓库 部 署 完毕 ,可 以 向 仓库 中 添加 更 新 Docker 镜像 ,或 查看 、 
删除 Docker 仓库 相关 的 镜像 ,操作 命令 如 下 : 


curl - XGET http://192.168.1.123:5000/v2/ catalog 

curl - XGET http: //192.168.1.123:5000/v2/image name/tags/list 

curl - X DELETE http: //192. 168. 1.123:5000/v1/repositories/ i {%% ff 

#v2 版 本 ,官网 不 建议 删除 私有 仓库 中 的 镜像 ,可 以 基于 delete - docker - registry - image 工具 

# 删除 Docker 镜像 

curl https://raw. githubusercontent. com/burnettk/delete - docker - registry - image/master/ 
delete docker registry image. py | sudo tee /usr/local/bin/delete docker registry image >/ 
dev/null 

chnod a * x /usr/local/bin/delete docker registry image 

export REGISTRY DATA DIR= /data/registry/v2 

delete docker registry image —- image centos: vl 


24.17 Docker 自动 化 部 署 一 


熟练 使 用 手工 方法 创建 Docker 容器 后 ,如果 想 批量 应 用 于 生产 环境 ,需要 编写 能 够 实 
现 自动 安装 并 配置 Docker 虚拟 化 及 桥接 网 络 的 脚本 ,同时 使 用 pipework 这 个 软件 来 配置 
容器 了 了, 能 够 实现 容器 简单 的 管理 。 以 下 为 CentOS 6. X Linux 系统 一 键 安装 .配置 .管理 
Docker 的 shell 脚本 ,脚本 代码 如 下 : 


# ! /bin/bash 

# auto install docker and Create VM 

# by jfedu. net 2017 

£ Def ine PATH Varablies 

IPADDR = ' ifconfig |grep "Bcast"|awk '(print $2)'|cut —d: - f2|grep "192.168" |head - 1' 
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GATEWAY = 'route —n|grep "UG"|awk '(print $2}'|grep "192.168"|head -1' 
DOCKER IPADDR= $1 
IPADDR_NET = 'ifconfig |grep "Bcast"|awk '{print $2}'|cut -d: - f2|grep "192.168"|head -1| 
awk -F. '(print $1"." $2"." $3". ""xxx"]'" 
NETWORK - ( 
HWADDR = 'ifconfig eth0 |egrep "HWaddr|Bcast" |tr "Vn" " "|awk '{print $5, $7, $NF}'|sed — 
e 's/addr://g' - e 's/Mask://g' |awk '(print $1]'" 
IPADDR = 'ifconfig eth0 |egrep "HWaddr|Bcast" |tr "Vn" " "|awk '{print $5, $7, $NF}'|sed — 
e 's/addr://g' - e 's/Mask://g'|awk ' (print $2]'" 
NETMASK = 'ifconfig eth0 |egrep "HWaddr|Bcast" |tr "An" " "|awk '(print $5, $7, $NF]' | sed 
-e 's/addr://g' — e 's/Mask://g'|awk '(print $3]'' 
GATEWAY = 'route - n|grep "UG"|awk '(print $2}'' 
) 
证 一共 
echo 一 e \033[0m" 
echo -e "\033[32mPlease exec $0 IPADDR CPU(C) MEM(G) DISK(G), example $0 $IPADDR NET 16 
32 50\033[ 0n" 
exit 0 
fi 
CPU= 'expr $2 - 1' 
if [ ! -e/usr/bin/bc ];then 
yum install bc - y >>/dev/null 2>&1 
fi 
MEM F- 'echo $3 V x 1024|bc' 
MEM = 'printf "% .0f\n" $MEM F' 





DISK- $4 
USER- $5 
REMARK- $6 


ping $DOCKER IPADDR - c 1 >>/dev/null 2» &1 
if [ $? -eq0 ];then 


echo -e "4033[32n --------------------------------- N033[ 0n" 
echo - e "N033[ 32mThe IP address to be used, Please change other IP, exit. \033[0m" 
exit 0 


fi 
if [ ! - e /etc/init.d/docker ];then 
rpm — ivh http: //d1. fedoraproject. org/pub/epel/6/x86 64/epel- release - 6 - 8. noarch. rpm 
yum install docker - io 一 了 
yum install device - mapper * - y 
/etc/init.d/docker start 
if[ $? -ne0 ];then 
echo "Docker install error , please check." 
exit 
fi 
fi 
cd /etc/sysconfig/network - scripts/ 
mkdir — p /data/backup/'date + $Y$m$&d- %H%M' 
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yes|cp ifcfg- eth» /data/backup/'date + %Y%m%d- %H%M'/ 
iE 

[ -e /etc/sysconfig/network - scripts/ifcfg- br0 ];then 

echo 
else 

cat > ifcfg- eth0 << EOF 

DEVICE = eth0 

BOOTPROTO = none 

S(NETWORK[ 0] } 

NM_CONTROLLED = no 

ONBOOT = yes 

TYPE = Ethernet 

BRIDGE = "br0" 

$(NETWORK[1]) 

SINETWORK[2]) 

S(NETWORK[ 3]) 

USERCTL - no 


cat > ifcfg - br0 << EOF 
DEVICE = "br0" 
BOOTPROTO - none 
S(NETWORK[ 0]} 
IPV6INIT = no 

NM CONTROLLED - no 
ONBOOT - yes 

TYPE - "Bridge" 
S(NETWORK[ 1]) 
S(NETWORK[ 2]) 
S(NETWORK[ 3]) 
USERCTL = no 


/etc/ init. d/network restart 


fi 
echo 'Your can restart Ethernet Service: /etc/init.d/network restart !' 


cd 一 
####### create docker container 
service docker status »»/dev/null 
if [ $? -ne0 ];then 
/etc/init. d/docker restart 
fi 
NAME = "Docker $ $ 'echo $DOCKER IPADDR|awk - F"." '(print S(NF—- 1)" "S$NF)''" 
IMAGES = 'docker images|grep - v "REPOSITORY" |grep — v "none"|head - 1|awk '(print $1)'' 
CID = $(docker run - itd -- cpuset- cpus = 0- $CPU -m ${MEM}m -- net = none -- name = $NAME 
$IMAGES /bin/bash) 
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if[ -z $IMAGES ];then 

echo "Plesae Download Docker CentOS Images, you can to be use docker search CentOS, and 
docker pull CentOS6.5 — ssh, exit 0" 

exit 0 
fr 


if [ ! -f /usr/local/bin/pipework ];then 
yum install wget unzip zip - y 
wget https: //github. com/jpetazzo/pipework/archive/master. zip 
unzip master 
cp pipework - naster/pipework /usr/local/bin/ 
chmod + x /usr/local/bin/pipework 
rm —rf master 
fi 


ip netns »»/dev/null 
if [ $? -ne0 ];then 
rpm —e iproute —— nodeps 
rpm — ivh https://repos. fedorapeople. org/openstack/EOL/openstack - grizzly/epel - 6/ 
iproute - 2.6.32 - 130. el6ost. netns.2.x86 64.rpm 
fi 
pipework brO $NAME $DOCKER_IPADDR/24@ $IPADDR 


docker ps -a |grep " $NAME" 


DEV = $(basename $(echo /dev/mapper/docker- * - $CID)) 
dmsetup table $DEV | sed "s/0 [0-9] * thin/O $(( ${DISK} * 1024 x 1024 x 1024/512) ) thin/" | 
dmsetup load $DEV 
dmsetup resume $DEV 
resize2fs /dev/mapper/SDEV 
docker start $CID 
docker logs $CID 
LIST = "docker vnlist.csv" 
if [ ! -e $LIST ];then 
echo "编号 ,容器 ID, 容器 名 称 , CPU, 内存, 硬盘 ,容器 IP, 宿主 机 IP, 使 用 人 ,备注 " > $LIST 
fi 
Basssssssssssssss858 
NUM = 'cat docker_vmlist.csv |grep -v CPU|tail — l|awk —F, '(print $1]'' 
if [[ $NUM -eq "" ]];then 


NUM - "1" 
else 

NUM- 'expr $NUM + 1" 
fi 
划 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 并 


echo - e "N033[ 32mCreate virtual client Successfully. \n $NUM 'echo $CID|cut -b 1- 12' $NAME 
$2C ${MEM}M ${DISK}G $DOCKER IPADDR $IPADDR $USER $REMARKN033[ Om" 
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if[ -z $USER ];then 
USER = "NULL" 
REMARK - "NULL" 
fi 
echo $NUM,'echo $CID|cut -b 1 - 12', $NAME, ${2}C, ${MEM}M, ${DISK}G, $DOCKER IPADDR, 
$IPADDR, $USER, $REMARK >> $LIST 
rm — rf docker vmlist * 
iconv -c -f utf-8 - t gb2312 docker vmlist.csv - o docker vmlist 'date + *&H*M'.csv 


24.18 Docker 自动 化 部 署 二 


随 着 Linux 技术 的 发 展 , 目 前 越 来 越 多 的 企业 开始 使 用 CentOS 7 系统 ,以 下 为 CentOS 7. X 
Linux 系统 一 键 安装 .配置 .管理 Docker 的 shell 脚本 ,脚本 代码 如 下 : 


#!/bin/bash 
# auto install docker and Create VM 
# by jfedu. net 2017 
+ Define PATH Varablies 
IPADDR = 'ifconfig|grep - E "\< inet V?" |awk '(print $2}'|grep "192.168"|head - 1" 
GATEWAY = 'route - n|grep "UG"|awk '(print $2}'|grep "192.168"|head - 1" 
IPADDR NET = 'ifconfig|grep -E "N< inet\>" |awk '{print $2)'|grep "192.168"|head - 1|awk - F. 
“(print $1"." $27." $3". ")'* 
LIST = "/root/docker vnlist.csv" 
if [ ! -f /usr/sbin/ifconfig ];then 

yum install net - tools* -y 
fi 
for i in 'seq 1 253';do ping - c 1 $(IPADDR NET) ${i} ;[ $? - ne 0 ]&& DOCKER IPADDR = 
" $(IPADDR NET) $(i)" &&break;done >>/dev/null 2» &1 
echo"dddsssssüssssüsssss" 
echo - e "Dynamic get docker IP, The Docker IP address\n\n $DOCKER_IPADDR" 
NETWORK = ( 

HWADDR = ' ifconfig eth0 |grep ether|awk '(print $2}'' 

IPADDR = 'ifconfig eth0|grep - E "\< inetV»" |awk ' (print $2)'' 

NETMASK = 'ifconfig eth0|grep — E "N< inetV»" |awk "(print $4)'' 

GATEWAY = 'route - n|grep "UG" |awk '(print $2)'' 





) 
if[ -z"$1" -o -z" $2" ];then 


echo. —6/"X033[32a -———---———---—---——-----——---—— ee \033[0m" 
echo —e "\033[32mPlease exec $0 CPU(C) MEM(G), example $0 4 8\033[0m" 
exit 0 


fi 
#CPU = 'expr $2 - 1' 
if [ ! — e /usr/bin/bc ];then 
yum install be - y >>/dev/null 2» &1 
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fi 


CPU ALL- 'cat /proc/cpuinfo |grep processor|wc - l' 


if [ 


fi 


MEM | 


! — f $LIST ];then 
CPU COUNT- $1 





CPU1 = 'expr $CPU 1 + 0' 
CPU2 = 'expr $CPU1 + S$CPU COUNT - 1' 
if [ $CPU2 -gt $CPU ALL ];then 
echo - e "\033[32mThe System CPU count is $CPU ALL, not more than it.N033[0m" 


CPU COUNT = $1 
CPU 1-7'cat $LIST|tail -1|awk - F' 
CPU1 = 'expr $CPU 1 + 1' 
CPU2 = 'expr $CPU1 + SCPU COUNT - 1' 
if [ $CPU2 -gt $CPU ALL ];then 
echo - e "\033[32mThe System CPU count is $CPU ALL, not more than it.V033[0n" 
exit 





," '(print $4)'|awk - EF" - " '(print $2]'" 


fi 


F= 'echo $2 \* 1024|bc' 


MEM = 'printf "5$ .0f\n" $MEM F' 

DISK= 20 

USER- $3 

REMARK- $4 

ping $DOCKER IPADDR - c 1 >>/dev/null 2» &1 


if[ 


fi 


if[ 


$? - eq 0 ];then 


écho =e "\093[328 -————------—----------- ee eee eee -- Vo33[ 0n" 
echo - e "\033[32mThe IP address to be used, Please change other IP, exit. V033[0n" 
exit 0 


! — e /usr/bin/docker ];then 
yum install docker * device- mapper* lxc 一 了 
mkdir - p /export/docker/ 
cd /var/lib/ ;rm - rf docker ;ln - s /export/docker/ . 
mkdir — p /var/lib/docker/devicemapper/devicemapper 
dd if = /dev/zero of = /var/lib/docker/devicemapper/devicemapper/data bs = 1G count = 0 
seek - 2000 
service docker start 
if[ $? -neO ];then 
echo "Docker install error ,please check. " 
exit 
fi 
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fi 


cd /etc/sysconf ig/network — scripts/ 
mkdir 一 P /data/backup/'date + %Y%m%d- %H%M' 
yes|cp ifcfg- eth» /data/backup/'date + *Y%m%d- %H%M'/ 
if 
[ -e /etc/sysconfig/network - scripts/ifcfg— br0 ];then 
echo 
else 
cat > ifcfg - eth0 << EOF 
DEVICE = eth0 
BOOTPROTO = none 
${ NETWORK[ 0]} 
NM_CONTROLLED = no 
ONBOOT = yes 
TYPE = Ethernet 
BRIDGE = "br0" 
S(NETWORK[ 1]) 
S(NETWORK[ 2]) 
S(NETWORK[ 3]) 
USERCTL - no 


cat > ifcfg - br0 << EOF 
DEVICE = "br0" 
BOOTPROTO - none 
${ NETWORK[ 0]} 
IPV6INIT = no 
NM_CONTROLLED = no 
ONBOOT = yes 

TYPE = "Bridge" 
${NETWORK[ 1] } 
${NETWORK[ 2] } 

${ NETWORK 3] } 
USERCTL = no 


/etc/init.d/network restart 


fi 
echo 'Your can restart Ethernet Service: /etc/init.d/network restart !' 


cd 一 
####### create docker container 
service docker status >>/dev/null 
if [ $? -ne0 ];then 

service docker restart 
fi 
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NAME = "Docker 'echo $DOCKER IPADDR|awk — F"." '(print $(NF— 1)" "SNE} 
IMAGES = 'docker images |grep - v "REPOSITORY" |grep - v "none" | grep "CentOS" | head - 1|awk ' 
{print $1)'' 
if[ -z $IMAGES ];then 

echo "Plesae Download Docker CentOS Images, you can to be use docker search CentOS, and 
docker pull CentOS6.5 — ssh, exit 0" 

if [ ! -f jfedu CentOS68. tar ] ;then 

echo "Please upload jfedu CentO0S68.tar for docker server." 


exit 
fi 
cat jfedu CentOS68.tar|docker import - jfedu CentOS6.8 
fi 
IMAGES = ' docker images |grep - v "REPOSITORY" | grep - v "none" |grep "CentOS" | head - 1| awk 
'(print $1)'' 


CID = $(docker run - itd -- privileged -- cpuset- cpus = $(CPU1) - ${CPU2} -m ${MEM}m 一 一 
net = none -- name= $NAME $IMAGES /bin/bash) 
echo $CID 
docker ps -a |grep " $NAME” 
pipework brO $NAME $DOCKER_IPADDR/24@ $IPADDR 
docker exec $NAME /etc/init.d/sshd start 
if [ ! -e $LIST ];then 
echo "编号 ,容器 ID, 容器 名 称 , CPU, 内 存 , 硬盘 ,容器 IP, 宿主 机 IP, 使 用 人 ,备注 " > $LIST 
fi 
Büüdisüssddudsdsssss 
NUM = 'cat $LIST |grep - v CPU|tail - 1|awk - F, '(print $1)'" 
if [[ $NUM -eq "" ]];then 


NUM - "1" 
else 

NUM- 'expr SNUM + 1' 
fi 
Büssddssdsdddsssss 


echo - e"X033[32nCreate virtual client Successfully. Vn $NUM 'echo $CID|cut - b1- 12', $NAME, 
$CPU1 — $CPU2, ${MEM}M, ${DISK}G, $DOCKER IPADDR, SIPADDR, $USER, $REMARK\033[ 0m" 
if [ -z $USER ];then 
USER = "NULL" 
REMARK = "NULL" 
fi 
echo $NUM,'echo $CID|cut - b1- 12', $NAME, SCPU1 — $CPU2, ${MEM}M, ${DISK}G, $DOCKER_IPADDR, 
SIPADDR, $USER, $REMARK >> $LIST 
rm — rf /root/docker_vmlist_* 
iconv -c -f utf- 8 -t gb2312 $LIST -o /root/docker vmlist 'date + %H%M'. csv 
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随 着 互联 网 技术 的 变革 , 云 计算 技术 被 越 来 越 多 的 企业 使 用 ,包括 京东 、 百 度 、 阿 里 巴 
巴 、 腾 讯 等 互联 网 企业 ,其 中 Openstack 项 目 目标 是 提供 实施 简单 .可 大 规模 扩展 、 丰 富 、 标 
准 统一 的 云 计 算 管理 平台 。Openstack 通过 各 种 互补 的 服务 提供 了 基础 设施 即 服务 
(infrastructure as a service,1aaS) 的 解决 方案 ,每 个 服务 提供 API 以 进行 集成 。 

本 章 向 读者 介绍 Openstack Z it JA 01. Openstack 简介 、Openstack 各 个 组 件 功 能 、 
Openstack 各 个 组 件 安 装 、MQ 消息 队列 及 应 用 案例 、Openstack 故障 排 错 、 构 建 Openstack 
私有 云 平 台 、 虚 拟 机 管理 、 镜 像 导 入 、 创 建安 全 策略 等 内 容 。 


25.1 云 计算 及 Openstack AT] 


云 计算 (cloud computing) 是 基于 互联 网 相关 服务 资源 的 增加 、 使 用 和 交付 为 主 的 一 体 
化 解决 方案 ,通过 互联 网 来 提供 动态 易 扩 展 的 虚拟 化 的 资源 。 

对 于 云 计算 的 概念 理解 有 上 百 种 说 法 ,而 美国 国家 标准 与 技术 研究 院 (NIST) 定 义 为 云 
计算 是 一 种 按 使 用 量 付费 的 模式 。 这 种 模式 提供 可 用 的 、 便 捷 的 、 按 需 的 网 络 访问 ,进入 可 
配置 的 计算 资源 共享 地, 计算 资源 包括 网 络 、 服 务 器 存储、 应 用 软件 .服务 等 ,这 些 资 源 能 够 
被 快速 提供 , 且 只 需 投 入 很 少 的 管理 工作 ,或 与 服务 供应 商 进行 很 少 的 交互 。 

而 Openstack 是 一 个 由 美国 国家 航空 航天 局 (National Aeronautics and Space 
Administration. NASA) fll Rackspace 合作 研发 并 发 起 ,以 Apache 许可 证 授权 的 自由 软件 
和 开放 源 代码 项 目 ,是 一 个 开源 的 云 计 算 管理 平台 项 目 , 由 几 个 主要 的 组 件 组 合 起 来 完成 具 
体 工作 。 

Openstack 支持 几乎 所 有 类 型 的 云 环境 ,项 目 目标 是 提供 实施 简单 .可 大 规模 扩展 、 丰 
# ,标准 统一 的 云 计 算 管 理 平台 。Openstack 通过 各 种 互补 的 服务 提供 了 基础 设施 即 服务 
(infrastructure as a service, laaS) 的 解决 方案 .每 个 服务 提供 API 以 进行 集成 ,当然 除了 
IaaS 解决 方案 ,还 有 主流 的 平台 即 服务 C platform-as-a-service. PaaS) 和 软件 即 服务 
Csoftware-as-a-service. SaaS) .laaS, PaaS, SaaS 三 种 云 计 算 服务 的 区 别 如 图 25-1 所 示 。 
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云 服务 分 类 ( 按 服务 类 型 ) 
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(b) 云 服务 功能 分 类 (2) 
图 25-1 云 服务 功能 分 类 





Openstack 是 一 个 旨 在 为 公共 及 私有 云 的 建设 与 管理 提供 软件 的 开源 项 目 , 它 的 社区 
拥有 超过 130 家 企业 及 1350 位 开发 者 ,这 些 机 构 与 个 人 都 将 Openstack 作为 基础 设施 即 服 
务 (IaaS) 资 源 的 通用 前 端 。Openstack 项 目的 首要 任务 是 简化 云 的 部 署 过 程 并 为 其 带 来 良 
好 的 可 扩展 性 。 

Openstack 云 计 算 平台 ,帮助 服务 商 和 企业 内 部 实现 类 似 于 Amazon EC2 和 S3 的 云 基 
础 架构 服务 。Openstack 包含 两 个 主要 模块 , 即 Nova 和 Swift ,前 者 是 NASA 开发 的 虚拟 
服务 器 部 署 和 业务 计算 模块 ,后 者 是 Rackspace 开发 的 分 布 式 云 存 储 模块 ,两 者 可 以 一 起 
,也 可 以 分 开 单独 用 。 

Openstack 除了 有 Rackspace 和 NASA 的 大 力 支持 外 ,还 有 包括 Dell, Citrix, Cisco, 
Canonical 等 重量 级 公司 的 贡献 和 支持 ,发展 速 度 非 常 快 .有 取代 另 一 个 业界 领先 开源 云 平 
£ Eucalyptus 的 态势 。 
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Openstack 遵循 一 年 两 次 的 开发 及 发 布 的 周期 ,在 春 末 提供 一 个 发 布 ,秋季 提供 第 二 个 
版 本 ,使 用 版 本 的 代号 按 A 一 Z 字母 顺序 排列 ,目前 Mitika 版 本 是 最 新 稳定 版 本 ,如 图 25-2 
所 示 。 
























































series status initial release date next phase EOL date 
Queens Future proposed | TBD 

Pike Under Development — | scheduled [Teo 
Ocata Phase | - Latest release | 2017-02-22 Phase Il- Maintained | 2018-02-26 

| release on 2017-08-28 
Newton Phase li- Maintained | 2016-10-06 Phase Ill - Legacy 2017-10-11 
release release on 2017-10-09 

Mitaka EOL 2016-04-07 | 2017-04-10 
Liberty EOL 2015-10-15 2016-11-17 
Kilo EOL | 2015-04-30 ji 2016-05-02 
luno EOL 2014-10-16 2015-12-07 
‘Icehouse — EOL 2014-04-17 | | 2015-07-02 
Havana EDL 2013.10-17 2014-09-30 
Grizzly EOL 2013-04-04 2014-03-29 
Folsom EOL 2012-09-27 2013-11-19 
Essex EOL 2012-04-05 2013-05-06 
Diablo EOL | 2011-09-22 2013-05-06 
Cactus Deprecated 2011-04-15 

Bexar Deprecated 2011-02-03 

Austin Deprecated 2010-10-21 

















图 25-2 Openstack 发 展 版 本 
25.2 Opentstack 核心 组 件 


Openstack 覆盖 了 网 络 .虚拟 化 、 操 作 系统 .服务 器 等 各 个 方面 。 它 是 一 个 正在 开发 中 
的 云 计 算 平台 项 目 ,根据 成 熟 及 重要 程度 的 不 同 ,被 分 解 成 核心 项 目 . 旷 化 项 目 , 以 及 支持 项 
目 和 相关 项 目 。 

每 个 项 目 都 有 自己 的 委员 会 和 项 目 技术 主管 ,而 且 每 个 项 目 都 不 是 一 成 不 变 的 ,孵化 项 
目 可 以 根据 发 展 的 成 熟 度 和 重要 性 ,转变 为 核心 项 目 。 截 止 到 Icehouse 版 本 ,以 下 为 
Openstack 依赖 的 10 个 核心 项 目 , 主 要 组 件 功能 和 调用 关系 如 图 25-3 所 示 。 

a 计算 (compute): Nova, 一 套 控制 器 ,用 于 为 单个 用 户 或 使 用 群 组 管理 虚拟 机 实例 的 
整个 生命 周期 ,根据 用 户 需 求 来 提供 虚拟 服务 。 负 责 虚 拟 机 创建 ,开机 、 关 机 、 挂 起 、 
暂停 .调整 .迁移 .重启 .销毁 等 操作 ,配置 CPU、 内 存 等 信息 规格 。 

a 对 象 存储 Cobject storage): Swift, 一 套用 于 在 大 规模 可 扩展 系统 中 通过 内 置 元 余 及 
高 容错 机 制 实现 对 象 存储 的 系统 ,允许 进行 存储 或 检索 文件 ,可 为 Glance 提供 镜像 
存储 ,为 Cinder 提供 卷 备份 服务 。 

a 镜像 服务 (image service): Glance. 一 套 虚拟 机 镜像 查找 及 检索 系统 ,支持 多 种 虚拟 
机 镜像 格式 (AKI、AMI、ARI\ISO.QCOW2 .Raw、VDI.VHD、VMDK) ,有 创建 上 传 
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Openstack 的 主要 功能 组 件 
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(a) Openstack 组 件 功 能 


object O| 


storage 
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(b) Openstack 组 件 调用 关系 
图 25-3 Openstack 主要 组 件 功能 和 调用 关系 
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镜像 .删除 镜像 .编辑 镜像 基本 信息 的 功能 。 

a 身份 服务 (identity service): Keystone. JJ Openstack 其 他 服务 提供 身份 验证 、 服 务 

规则 和 服务 令 牌 的 功能 ,管理 domains , projects, users, groups , roles. 

a fd #& ë. Jb hk: £ BE (network); Neutron, 提供 云 计 算 的 网 络 虚拟 化 技术 , 为 
Openstack 其 他 服务 提供 网 络 连接 服务 。 为 用 户 提供 接口 ,可 以 定义 network, 
subnet, router, DHCP, DNS, f RHM, L3 服务 .GRE、VLAN 等 。 插件 架构 支持 许 
多 主流 的 网 络 厂 家 和 技术 ,如 Openvswitch。 

块 存储 (block storage); Cinder, 为 运行 实例 提供 稳定 的 数据 块 存储 服务 , 它 的 插件 

驱动 架构 有 利于 块 设备 的 创建 和 管理 ,如 创建 卷 . 删 除 卷 , 在 实例 上 挂 载 和 纯 载 卷 。 

UI 界面 (dashboard): Horizon. Openstack 中 各 种 服务 的 Web 管理 门户 ,用 于 简化 

用 户 对 服务 的 操作 ,例如 启动 实例 ,分配 IP 地 址 、 配 置 访问 控制 等 。 

a 测量 (metering): Ceilometer, 像 一 个 漏斗 一 样 ,能 把 Openstack 内 部 发 生 的 几乎 所 

有 的 事件 都 收集 起 来 ,然后 为 计 费 和 监控 以 及 其 他 服务 提供 数据 支撑 。 

部 署 编排 (orchestration) : Heat, 提 供 了 一 种 通过 模板 定义 的 协同 部 署 方 式 , 实 现 云 

基础 设施 软件 运行 环境 (计算 存储 和 网 络 资源 ) 的 自动 化 部 署 。 

a 数据 库 服务 (database service); Trove, 为 用 户 在 Openstack 的 环境 提供 可 扩展 和 可 
靠 的 关系 以 及 非 关 系数 据 库 引 擎 服务 。 


D 


D 


D 


25.3 Openstack 准备 环境 


构建 完整 的 Openstack PA RFR ,生产 环境 至 少 需要 2 台 服 务 器 ,一 台 为 控制 节点 服 
务 器 ,一 台 为 计算 节点 服务 器 ,不 推荐 把 计算 节点 服务 安装 在 控制 节点 服务 器 ,宿主 机 操作 
系统 推荐 使 用 CentOS 7. X 系列 ,以 下 为 构建 Openstack 基础 环境 信息 : 

操作 系统 版 本 : CentOS Linux release 7. 3. 1611 

192.168.1.120 node 1 控制 节点 

192.168.1.121 node 2 计算 节点 

Openstack 官方 提示 线 上 生产 环境 Openstack 各 个 节点 的 硬件 配置 ,如 图 25-4 所 示 。 

其 中 node 1 控制 节点 主要 用 于 操控 计算 节点 ,node 2 计算 节点 为 创建 虚拟 机 的 资源 
池 ,node 1 控制 节点 主要 配置 服务 包括 : MySQL, RabbitMQ, Apache, Horizon, Keystone, 
Glance, Nova ( API, Cert, Scheduler, ConsoleAuth, Conductor, NoVNCporxy ) , Neutron 
(server, LinuxBridge-Agent) , Cinder ( API, Scheduler, Volume 及 可 选 GFS 分 布 式 存储 ) 
等 ,如 图 25-5 所 示 。 

node 2 计算 节点 主要 配置 服务 包括 : Nova(Nova-Compute、Libvirt、KVM)、Neutron 
(LinuxBridge-Agent) 等 ,如 图 25-6 所 示 。 
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图 25-4 Openstack 生产 环境 硬件 要 求 


MySQL RabbitMQ Apache 
Horizon Keystone Glance 


N 
í Nova 
(Am J( Cert Il Scheduler )( ConsoleAuth ) 


Conductor ConsoleAuth NoVNCproxy 


~ 
( Neutron 






































[ Í Server J [ LinuxBridge-Agent ) J ( Novi 


( Cinder » I Nova-Compute Libvirt-K VM 























API Scheduler Volume Neutron 
GluaterFS 分 布 式 文件 系统 集群 


图 25-5 Openstack 控制 节点 组 件 图 25-6 Openstack 计算 节点 组 件 
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25.4 主机 名 及 防火 墙 设置 


构建 Openstack 平台 ,由 于 节点 之 间 相 互通 信和 会 解析 本 地 主机 名 , 需 提前 设置 主机 名 ， 
生产 环境 可 以 基于 DNS 解析 ,控制 节点 node 1 和 计算 节点 node 2 上 进行 以 下 配置 ,配置 本 
地 主机 名 及 关闭 防火 墙 ,关闭 SELinux 服务 ,并 且 基 于 ntpdate 工具 同步 各 个 节点 的 时 间 ， 
配置 代码 如 下 : 


cat >/etc/hosts << EOF 

127.0.0.1 localhost localhost.localdomain 
#103.27.60.52 mirror. CentOS. org 

#66.241.106. 180 mirror. CentOS. org 

192.168. 1.120 nodel 

192.168. 1.121 node2 

EOF 

# 永 久 关闭 SELinux 服务 

sed - i '/SELINUX/s/enforcing/disabled/g' /etc/sysconfig/selinux 
# 临 时 关闭 SELinux 服务 

setenforce 0 

# 停 止 防火 墙 、 禁 止 开机 启动 

systemctl stop firewalld. service 

systemctl disable firewalld. service 

# 同 步 服 务 器 时 间 

ntpdate pool. ntp. org 

hostname 'cat /etc/hosts|grep $(ifconfig|grep broadcast|awk '{print $2}')|awk '{print $2]'';su 


25.5 Openstack 服务 安装 


Openstack node 1 主 控制 节点 作为 Openstack 集群 服务 器 端 ,主要 用 于 对 整个 
Openstack 私有 云 控制 与 调度 ,node 1 节点 必 备 服务 安装 配置 如 下 : 


# 清 理 Openstack liberty 版 本 YUM 元 数据 

yum —- enablerepo = CentOS - openstack - liberty clean metadata 

# ‘HAE epel 扩展 源 及 Openstack liberty YUM ii 

yum install - y epel- release 

yum install - y CentOS - release - openstack - liberty 

yum install - y python - openstackclient 

# 安 装 MariaDB 数据 库 及 Python 数据 库 模 块 支持 

yum install - y mariadb mariadb - server MySQL - python mariadb — devel 
# 安 装 MQ 消息 队列 服务 RabbitMO 

yum install - y rabbitmq- server 

# 安 装 认证 中 心 Keystone HTTP Web 服务 .Memacached 缓存 服务 

yum install - y openstack 一 keystone httpd httpd - devel mod wsgi memcached python — memcached 
+ 安装 镜 像 管理 Glance 服务 
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yum install - y openstack - glance python - glance python - glanceclient 

# 3C Openstack 管理 模块 .虚拟 机 控制 调度 及 控制 服务 Nova. 

yum install — y openstack — nova - api openstack - nova - cert openstack - nova — conductor 
openstack — nova - console openstack - nova — novncproxy openstack - nova - scheduler python 一 
novaclient 

并 安装 Neutron 网 络 配置 及 管理 服务 

yum install - y openstack - neutron openstack - neutron - m12 openstack - neutron - linuxbridge 
python - neutronclient ebtables ipset 

井 安装 Openstack 控制 界面 dashboard 

yum install - y openstack - dashboard 

# 安 装 镜像 块 存储 服务 Cinder 

yum install - y openstack - cinder python - cinderclient 

# 升 级 KVM 虚拟 机 管理 程序 Qemu 服务 

yum install - y CentOS - release - qemu - ev. noarch 

yum - y install qemu - kvm qemu - img 

# 调 整 MariaDB 最 大 连接 数 为 2000 

sed - i '/\[mysqld\ ] /amax_connections = 2000' /etc/my. cnf 

# 38 MariaDB 服务 设置 开机 启动 ,并 且 启动 MariaDB 服务 

systemctl enable mariadb. service 

systemctl start mariadb. service 


node 1 节点 创建 数据 库 配置 如 下 : 


# EA MariaDB 数据 库 ,创建 必 备 库 , 同 时 授权 本 机 和 计算 节点 能 访问 

mysql 

create database keystone 

grant all on keystone. * to 'keystone'@'localhost' identified by 'keystone" 
grant all on keystone. * to 'keystone'@'% ' identified by 'keystone' 
grant all on keystone. * to 'keystone'@ 'nodel' identified by 'keystone' 
create database glance 

grant all on glance. * to 'glance'@'localhost' identified by 'glance' 
grant all on glance. * to 'glance'@' % ' identified by 'glance" 

grant all on glance. * to 'glance'@'nodel' identified by 'glance' 
create database nova 

grant all on nova. * to 'nova'@'localhost' identified by 'nova' 

grant all on nova. * to 'nova'@'% ' identified by 'nova' 

grant all on nova. * to 'nova'@'nodel' identified by 'nova' 

create database neutron 

grant all on neutron. * to 'neutron'@ 'localhost' identified by 'neutron" 
grant all on neutron. * to 'neutron'(@ ' $% ' identified by 'neutron' 
grant all on neutron. * to 'neutron'@ 'nodel' identified by 'neutron' 
create database cinder 

grant all on cinder. * to 'cinder'@'localhost' identified by 'cinder' 
grant all on cinder. * to 'cinder'@' %' identified by 'cinder' 

grant all on cinder. * to 'cinder'(@'nodel' identified by 'cinder' 

flush privileges 

exit 
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25.6 MO 消息 队列 服务 


MQ 全 称 为 message queue, 即 消息 队列 。MQ 是 一 种 应 用 程序 对 应 用 程序 的 通信 方 
法 ,应 用 程序 通过 读 写 出 人 队列 的 消息 (针对 应 用 程序 的 数据 ) 来 通信 ,而 无 须 专用 连接 来 链 
接 它们 。 


25.6.1 MQ 消息 队列 简介 


消息 队列 中 间 件 是 分 布 式 系统 中 重要 的 组 件 , 主 要 解决 应 用 看 合 、 异 步 消息 、 流 量 前 锋 
等 问题 ,实现 高 性 能 、 高 可 用 、 可 伸缩 和 最 终 一 致 性 架构 。 主 流 消息 队列 包括 ActiveMQ, 
RabbitMQ, ZeroMQ, Kafka, MetaMQ,RocketMQ 等 。 

消息 传递 指 的 是 程序 之 间 通 过 在 消息 中 发 送 数据 进行 通信 ,而 不 是 通过 直接 调用 彼此 
来 通信 ,直接 调用 通常 是 用 于 诸如 远程 过 程 调用 的 技术 。 

排队 指 的 是 应 用 程序 通过 队列 来 通信 ,队列 的 使 用 除去 了 接收 和 发 送 应 用 程序 同时 执 
行 的 要 求 。RabbitMQ 是 一 个 在 AMQP 基础 上 完整 的 .可 复 用 的 企业 消息 系统 ,遵循 GPL 
开源 协议 。 

Openstack 的 架构 决定 了 需要 使 用 消息 队列 机 制 来 实现 不 同 模块 间 的 通信 ,通过 消息 
验证 消息 转换 、 消 息 路 由 架构 模式 , 带 来 的 好 处 就 是 可 以 使 模块 之 间 最 大 程度 解 耦 ,客户 端 
不 需要 关注 服务 端的 位 置 和 是 否 存在 ,只 需 通 过 消息 队列 进行 信息 的 发 送 。 

RabbitMQ 适合 部 署 在 一 个 拓扑 灵活 易 扩 展 的 规模 化 系统 环境 中 ,有 效 保证 不 同 模块 、 
不 同 节点 ,不 同 进程 之 间 消 息 通信 的 时 效 性 ,可 有 效 支 持 Openstack 云 平 台 系 统 的 规模 化 部 
署 .弹性 扩展 .灵活 架构 以 及 信息 安全 的 需求 。 


25.6.2 RabbitMQ 应 用 场景 


随 着 互联 网 IT 技术 发 展 .MQ 应 用 场景 非常 广泛 ,为 了 能 满足 大 规模 用 户 访问 ,对 网 站 
性 能 也 要 求 越 来 越 严格 ,如 果 企业 网 站 各 个 系统 相互 紧密 依赖 ,要 是 一 个 小 系统 崩溃 ,就 会 
影响 巨大 ,所 以 使 用 MQ 消息 队列 可 以 让 各 个 系统 更 加 可 靠 、 稳 定 地 对 外 提供 服务 ,以 下 为 
MQ 消息 队列 应 用 场景 。 

1. MOQ 异步 信息 场景 

MQ 应 用 的 场合 非常 的 多 ,例如 某 个 Discuz 论坛 网 站 ,用 户 注册 信息 后 ,需要 发 注册 邮 
件 和 注册 短信 然后 才能 确认 用 户 注册 成 功 ,如 图 25-7 所 示 为 没有 使 用 MQ 消息 通信 的 服务 
架构 。 

Web 网 站 将 注册 信息 写 人 MySQL 数据 库 成 功 后 ,发 送 注册 邮件 ,再 发 送 注册 短信 。 
以 上 三 个 任务 全 部 完成 后 ,返回 给 客户 端 , 总 共 花 费时 间 为 150ms。 
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消息 队列 一 异步 消息 J 














用 户 响应 150ms 50ms 50ms 50ms 








图 25-7. 传统 网 站 底层 服务 调用 架构 


而 引入 MQ 消息 队列 后 ,将 原来 的 网 站 业务 逻辑 进行 调整 ,采用 异步 处 理 , 改 造 后 的 架 
构 如 图 25-8 所 示 。 
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图 25-8 引入 MQ 消息 队列 服务 架构 


论坛 注册 用 户 的 响应 时 间 是 注册 信息 写 入 数据 库 的 时 间 50ms, 将 注册 用 户 的 消息 写 入 
到 MQ 队列 ,然后 注册 邮件 和 注册 短信 的 模块 ,直接 来 MQ 队列 读 取消 息 , 从 而 节省 用 户 注 
册 时 间 , 提 高 网 站 对 外 体验 ,因此 用 户 的 响应 时 间 可 能 约 等 于 50ms。 

2. VO RE B 883836 SR 

某 购物 网 站 ,用 户 下 单 后 购买 产品 ,下 单 成 功 后 订单 系统 需要 通知 库存 系统 ,然后 库存 
系统 的 库存 数 减 一 。 传 统 的 网 站 服务 架构 为 订单 系统 调用 库存 系统 的 接口 ,缺点 是 假如 库 
存 系统 无 法 访问 , 则 订单 减 库存 将 失败 ,从 而 导致 订单 失败 ,如 图 25-9 所 示 。 


HAWN 
j | 












图 25-9 购物 网 站 订单 与 库存 系统 


购物 网 站 引入 MQ 消息 队列 ,用 户 在 订单 系统 上 下 单 成 功 后 ,订单 系统 完成 持久 化 处 
理 , 将 下 订单 消息 写 人 MQ 队列 ,返回 用 户 订单 下 单 成 功 。 
库存 系统 从 MQ 队列 订阅 用 户 下 单 的 消息 ,采用 拉 / 推 的 方式 ,获取 用 户 下 单 信 息 , 库 
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存 系 统 根据 用 户 下 单 信息 ,进行 减 库 存 操作 。 

该 服务 架构 的 好 处 是 用 户 下 单 时 库存 系统 即使 不 能 正常 使 用 ,也 不 影响 用 户 正常 下 单 ， 
因为 用 户 下 单 后 ,订单 系统 将 下 单 消息 写 和 人 MQ 队列 后 就 不 再 关心 其 他 的 后 续 操 作 , 从 而 
实现 订单 系统 与 库存 系统 的 应 用 解 看 , 如 图 25-10 所 示 。 





消息 队列 一 应 用 解 克 


订单 系统 


图 25-10 网 站 订单 与 库存 系统 引入 MQ 队列 


3. MO 流量 削 锋 场景 

流量 削 锋 也 是 消息 队列 中 的 常用 场景 ,在 大 型 互联 网 电子 商务 平台 ,经 常会 进行 商 
品 秒杀 或 团购 活动 ,在 秒杀 或 团购 活动 中 ,一 般 会 因为 流量 过 大 ,导致 流量 暴 增 ,应 用 
挂 掉 。 

架构 师 为 解决 这 个 问题 ,一般 会 在 应 用 前 端 加 入 MQ 消息 队列 ,其 优点 可 以 控制 活动 
的 人 数 ,可 以 缓解 短 时 间 内 高 流量 压 垮 应 用 ,如 图 25-11 所 示 。 





消息 队列 一 流量 前 锋 
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[aa | 写 入 消 fna ; ss m ia | 


息 队 列 读 取 秒杀 请 求 

















图 25-11 网 站 秒杀 活动 服务 架构 


当 用 户 请 求 Web 网 站 ,服务 器 接收 秒杀 活动 的 请 求 后 ,首先 将 用 户 秒杀 的 消息 写 人 
MQ 消息 队列 ,假如 MQ 消息 队列 长 度 超过 设置 的 秒杀 活动 最 大 数量 , 则 直接 告诉 用 户 秒 
杀 已 经 结束 、 抛 弃 用 户 请 求 或 跳 转 到 错误 页 面 .后 端 秒杀 业务 根据 之 前 写 入 MQ 消息 队列 
中 的 请 求 信息 ,再 做 后 续 秒杀 成 功 的 用 户 商 品 处 理 。 


25.6.3 安装 配置 RabbitMQ 


安装 RabbitMQ 服务 ,并 启动 该 服务 ,RabbitMQ 默认 监听 端口 为 TCP 5672, 同 时 添加 
Openstack JH P! .添加 Rabbit MQ 管理 插件 ,配置 步骤 如 下 : 


井 启动 RabbitMQ 服务 
systemctl enable rabbitmq - server. service 
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systemctl start rabbitmq - server.service 

* ifs Jl Openstack 用 户 和 密码 ,并 设置 访问 权限 
rabbitmqctl add user openstack openstack 

rabbitmqctl set permissions openstack ". x» "". x " ", « " 
* dtf RabbitMQ 支持 插件 ,并 且 启用 插件 

rabbitmq- plugins list 

rabbitmq — plugins enable rabbitmq management 

# EJN RabbitM 服务 ,查看 监听 端口 是 否 为 15672 
systemctl restart rabbitmq 一 server. service 

lsof - i :15672 


访问 RabbitMQ Web 管理 界面 ,浏览 器 访问 地 址 为 http://192. 168. 1. 120:15672. Jj 
问 效果 如 图 25-12 所 示 。 


192.168.1.120:15672/#/users/openstack 
RIE dM IBM developerWor| Q? LinuxsEtgm (Rite — (Qm NU ÜQ) SEUCFI-FEMRNUD- 


由 RabbitMO 


Username: openstack 


Password: [seeccceee 


[d 25-12 RabbitMQ 登录 界面 


通过 默认 用 户 名 /密码 guest 登录 ,添加 Openstack 用 户 到 组 ,如 图 25-13 Bros o 
创建 完毕 ,使 用 Openstack 用 户 和 密码 登录 ,如 图 25-14 所 示 。 


25.6.4 RabbitMQ 消息 测试 


RabbitMQ 消息 测试 如 下 ,以 上 消息 服务 器 部 署 完毕 后 ,可 以 进行 简单 消息 的 发 布 和 订 
阅 。RabbitMQ 完整 的 消息 通信 和 包括 : 

a 发 布 者 (producer) 是 发 布 消 息 的 应 用 程序 ; 

a 队列 (queue) 用 于 消息 存储 的 缓冲 ; 

a 消费 者 (consumer) 是 接收 消息 的 应 用 程序 。 

RabbitMQ 消息 模型 核心 理念 是 发 布 者 (producer) 不 会 直接 发 送 任何 消息 给 队列 ,其 
至 不 知道 消息 是 否 已 经 被 投递 到 队列 ,而 只 需要 把 消息 发 送 给 一 个 交换 器 (exchange) ,交换 
器 非常 简单 , 它 可 以 一 边 从 发 布 者 方 接收 消息 ,一 边 把 消息 推 人 队列 。 交 换 器 必须 知道 如 何 
处 理 它 接收 到 的 消息 ,是 应 该 推送 到 指定 的 队列 还 是 多 个 队列 ,或 是 直接 忽略 消息 。 
RabbitMQ Web 操作 界面 如 图 25-15 所 示 。 
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systemctl start rabbitmq - server.service 

* ifs Jl Openstack 用 户 和 密码 ,并 设置 访问 权限 
rabbitmqctl add user openstack openstack 

rabbitmqctl set permissions openstack ". x» "". x " ", « " 
* dtf RabbitMQ 支持 插件 ,并 且 启用 插件 

rabbitmq- plugins list 

rabbitmq — plugins enable rabbitmq management 

# EJN RabbitM 服务 ,查看 监听 端口 是 否 为 15672 
systemctl restart rabbitmq 一 server. service 

lsof - i :15672 


访问 RabbitMQ Web 管理 界面 ,浏览 器 访问 地 址 为 http://192. 168. 1. 120:15672. Jj 
问 效果 如 图 25-12 所 示 。 


192.168.1.120:15672/#/users/openstack 
RIE dM IBM developerWor| Q? LinuxsEtgm (Rite — (Qm NU ÜQ) SEUCFI-FEMRNUD- 


由 RabbitMO 


Username: openstack 


Password: [seeccceee 


[d 25-12 RabbitMQ 登录 界面 


通过 默认 用 户 名 /密码 guest 登录 ,添加 Openstack 用 户 到 组 ,如 图 25-13 Bros o 
创建 完毕 ,使 用 Openstack 用 户 和 密码 登录 ,如 图 25-14 所 示 。 


25.6.4 RabbitMQ 消息 测试 


RabbitMQ 消息 测试 如 下 ,以 上 消息 服务 器 部 署 完毕 后 ,可 以 进行 简单 消息 的 发 布 和 订 
阅 。RabbitMQ 完整 的 消息 通信 和 包括 : 

a 发 布 者 (producer) 是 发 布 消 息 的 应 用 程序 ; 

a 队列 (queue) 用 于 消息 存储 的 缓冲 ; 

a 消费 者 (consumer) 是 接收 消息 的 应 用 程序 。 

RabbitMQ 消息 模型 核心 理念 是 发 布 者 (producer) 不 会 直接 发 送 任何 消息 给 队列 ,其 
至 不 知道 消息 是 否 已 经 被 投递 到 队列 ,而 只 需要 把 消息 发 送 给 一 个 交换 器 (exchange) ,交换 
器 非常 简单 , 它 可 以 一 边 从 发 布 者 方 接收 消息 ,一 边 把 消息 推 人 队列 。 交 换 器 必须 知道 如 何 
处 理 它 接收 到 的 消息 ,是 应 该 推送 到 指定 的 队列 还 是 多 个 队列 ,或 是 直接 忽略 消息 。 
RabbitMQ Web 操作 界面 如 图 25-15 所 示 。 
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systemctl start rabbitmq - server.service 

* ifs Jl Openstack 用 户 和 密码 ,并 设置 访问 权限 
rabbitmqctl add user openstack openstack 

rabbitmqctl set permissions openstack ". x» "". x " ", « " 
* dtf RabbitMQ 支持 插件 ,并 且 启用 插件 

rabbitmq- plugins list 

rabbitmq — plugins enable rabbitmq management 

# EJN RabbitM 服务 ,查看 监听 端口 是 否 为 15672 
systemctl restart rabbitmq 一 server. service 

lsof - i :15672 


访问 RabbitMQ Web 管理 界面 ,浏览 器 访问 地 址 为 http://192. 168. 1. 120:15672. Jj 
问 效果 如 图 25-12 所 示 。 


192.168.1.120:15672/#/users/openstack 
RIE dM IBM developerWor| Q? LinuxsEtgm (Rite — (Qm NU ÜQ) SEUCFI-FEMRNUD- 


由 RabbitMO 


Username: openstack 


Password: [seeccceee 


[d 25-12 RabbitMQ 登录 界面 


通过 默认 用 户 名 /密码 guest 登录 ,添加 Openstack 用 户 到 组 ,如 图 25-13 Bros o 
创建 完毕 ,使 用 Openstack 用 户 和 密码 登录 ,如 图 25-14 所 示 。 


25.6.4 RabbitMQ 消息 测试 


RabbitMQ 消息 测试 如 下 ,以 上 消息 服务 器 部 署 完毕 后 ,可 以 进行 简单 消息 的 发 布 和 订 
阅 。RabbitMQ 完整 的 消息 通信 和 包括 : 

a 发 布 者 (producer) 是 发 布 消 息 的 应 用 程序 ; 

a 队列 (queue) 用 于 消息 存储 的 缓冲 ; 

a 消费 者 (consumer) 是 接收 消息 的 应 用 程序 。 

RabbitMQ 消息 模型 核心 理念 是 发 布 者 (producer) 不 会 直接 发 送 任何 消息 给 队列 ,其 
至 不 知道 消息 是 否 已 经 被 投递 到 队列 ,而 只 需要 把 消息 发 送 给 一 个 交换 器 (exchange) ,交换 
器 非常 简单 , 它 可 以 一 边 从 发 布 者 方 接收 消息 ,一 边 把 消息 推 人 队列 。 交 换 器 必须 知道 如 何 
处 理 它 接收 到 的 消息 ,是 应 该 推送 到 指定 的 队列 还 是 多 个 队列 ,或 是 直接 忽略 消息 。 
RabbitMQ Web 操作 界面 如 图 25-15 所 示 。 
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由 RabbitMO 


Overview Connections Channels Exchanges Quee [f 


Users 
™ All users 
Fiter: FiRegex (7 
Name Tags Can access virtual hosts Has password 
guest  admurestr ator 4 B 
openstack 7 ` 
Br" 
7 Update this user 一 一 Openstack 用 户 密码 
Password: ~ Tete 
DEI * (confirm) 
Tags: administrator (7) 
[Admin] | Policymaker Management None) 


= 


> Delete this user 


添加 用 户 组 


图 25-13  RabbitMQ 添加 Openstack 用 户 


由 RabbitMO 


Overview Connections Channels Exchanges Queues fU) 


Users 
* All users 
Filter: G Regex (?)(?) 

Name Tags Can access virtual hosts Has password 
guest. administrator. £ ` 
openstack administrator li . 

e) 
> Adda user 


图 25-14 Openstack 用 户 登 录 RabbitMQ 
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(a) RabbitMQ Web 操 作 界 面 (1) 
IhRabbitMO 


Overview Connections Channels Exchanges Queues Admin 
Queue cert.node1 
* Overview 


Queued messages (chart: last minute) (7) 


1.0 





Ready mo 
Unacked "o0 

0.0 
15:04:10 15:04:20 15:04:30 15:04:40 15:04:50 15:05:00 — | me 


Message rates (chart: last minute) (? 


(b) RabbitMQ Web 操 作 界 面 (2) 
图 25-15 RabbitMQ Web 操作 界面 


25.7 配置 Keystone 验证 服务 


Keystone 身份 认证 组 件 是 Openstack 项 目 中 默认 的 身份 认证 管理 系统 ,主要 用 于 提供 
认证 服务 ,所 有 的 服务 都 需要 Keystone 认证 、 根 据 用 户 的 等 级 分 配 相 应 的 权限 ,在 
Keystone 中 主要 涉及 以 下 几 个 概念 : user,tenant,role,token 等 ,概念 详解 如 下 : 

a user, 使 用 服务 的 用 户 , 可 以 是 人 、 服 务 或 是 系统 ,只 要 是 使 用 了 Openstack 服务 的 对 

象 都 可 以 称 为 用 户 ; 
9 tenant, 租 户 , 可 以 理解 为 一 个 人 、 项 目 或 组 织 拥有 的 资源 的 合集 ,在 一 个 租户 中 可 以 
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拥有 很 多 个 用 户 , 这 些 用 户 可 以 根据 权限 的 划分 使 用 租户 中 的 资源 ; 

a _ role, 角色 ,用 于 分 配 操作 的 权限 ,角色 可 以 被 指定 给 用 户 ,使 得 该 用 户 获得 角色 对 应 
的 操作 权限 ; 

a token, 相 当 于 令 牌 , 是 一 串 比 特 值 或 字符 串 , 用 来 作为 访问 资源 的 记号 ,token 中 含 
有 可 访问 资源 的 范围 和 有 效 时 间 。 

Keystone 身份 认证 服务 架构 如 图 25-16 所 示 。 





图 25-16 Keystone 认证 服务 


以 下 为 node 1 节点 上 配置 Keystone 服务 步骤 : 


井 基于 openssl 生成 随机 数 并 设置 为 admin_token 值 ; 
ID = 'openssl rand - hex 10';echo $ID 

并 创建 Keystone 配置 文件 , 并 连接 数据 库 memcached 缓存 ; 
cat >/etc/keystone/keystone. conf << EOF 

[DEFAULT] 

admin token = $ID 

verbose = true 

[assignment] 

[auth] 

[cache] 

[catalog] 

[cors] 
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[cors. subdomain] 
[credential] 
[database] 
connection = mysql://keystone:keystone(4)192.168. 1. 120/keystone 
[domain config] 
[endpoint filter] 
[endpoint policy] 
[eventlet server] 
[eventlet server ssl] 
[federation] 
[fernet tokens] 
[identity] 
[identity mapping] 
[kvs] 
[1dap] 
[matchmaker redis] 
[matchmaker ring] 
[memcache] 
servers = 192.168.1.120:11211 
[oauth1] 
[os inherit] 
[oslo messaging amqp] 
[oslo messaging qpid] 
[oslo messaging rabbit] 
[oslo middleware] 
[oslo policy] 
[paste deploy] 
[policy] 
[resource] 
[revoke] 
driver - sql 
[role] 
[saml] 
[signing] 
[ss1] 
[token] 
provider = uuid 
driver = memcache 
[tokenless_auth] 
[trust] 
EOF 
+ 创建 数据 库 表 ,初始 化 Keystone 库 并 查看 日 志 
su — s /bin/sh - c "keystone - manage db sync" keystone 
tail -n 10 /var/log/keystone/keystone. log 


配置 并 启动 memcached 和 Apache 服务 ,代码 如 下 : 
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井 修改 memcached 监听 为 0.0.0.0, 重启 memcached 服务 

sed - i 's/OPTIONS= . * /OPTIONS=\"0.0.0.0\"/g' /etc/sysconfig/memcached 
systemctl enable memcached 

systemctl start memcached 

# Bü i Keystone 认证 服务 接口 

cat >/etc/httpd/conf . d/wsgi — keystone. conf << EOF 

Listen 5000 

Listen 35357 

<VirtualHost * :5000> 


WSGIDaemonProcess keystone - public processes = 5 threads = 1 user = keystone group = keystone 


display- name = % {GROUP} 

WSGIProcessGroup keystone - public 
WSGIScriptAlias / /usr/bin/keystone - wsgi — public 
WSGIApplicationGroup & (GLOBAL) 
WSGIPassAuthorization On 

«IfVersion»- 2.4» 

ErrorLogFormat " % (cu)t * M" 

«/IfVersion» 

ErrorLog /var/log/httpd/keystone - error. log 
CustonLog /var/log/httpd/keystone - access. log combined 
<Directory /usr/bin> 

< IfVersion >= 2.4> 

Require all granted 

«/1IfVersion» 

< IfVersion «2.4» 

Order allow, deny 

Allow from all 

</IfVersion> 

</Directory> 

</VirtualHost> 

<VirtualHost * :35357> 


WSGIDaemonProcess keystone - admin processes = 5 threads = 1 user = keystone group = keystone 


display - name = % {GROUP} 

WSGIProcessGroup keystone - admin 

WSGIScriptAlias / /usr/bin/keystone - wsgi — admin 
WSGIApplicationGroup % (GLOBAL) 
WSGIPassAuthorization On 

< IfVersion >= 2.4» 

ErrorLogFormat " % (cu)t * M" 

«/IfVersion» 

ErrorLog /var/log/httpd/keystone - error. log 
CustomLog /var/log/httpd/keystone - access. log combined 
<Directory /usr/bin> 

<IfVersion >= 2.4> 

Require all granted 

«/1fVersion» 

< IfVersion «2.4» 
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Order allow, deny 

Allow from all 
</l£Version> 

</Directory> 
</VirtualHost > 

EOF 

systemctl enable httpd 
systemctl restart httpd 
netstat - lntup|grep httpd 


创建 Keystone 认证 用 户 ,临时 设置 admin_token JH P! ff IRIE "IE fit AROE A C 
如 下 : 
export OS TOKEN- $ID 


export OS URL = http://192. 168. 1.120:35357/v3 
export OS IDENTITY API VERSION = 3 


# Gi] dt admin 项 目 
openstack project create -- domain default -- description "Admin Project" admin 
* fi) it admin 用户, 密码 为 admin 


openstack user create -- domain default -- password - prompt admin 
创建 一 个 普通 用 户 demo. $A demo. {thy VI F : 
# 创建 adnin 角色 


openstack role create admin 

# Xf admin 用 户 加 入 到 admin 项目 ,赋予 admin 的 角色 

openstack role add -- project admin -- user admin admin 

+ [i] E, 创建 一 个 deno Jii H , demo 用 户 和 demo 角色 

openstack project create -- domain default -- description "Demo Project" demo 
openstack user create -- domain default -- password = demo demo 

openstack role create user 

openstack role add —- project demo —- user demo user 


# i£ service 项 目 , 用 来 管理 其 他 服务 


openstack project create —- domain default ~~ description "Service Project" service 


检查 Openstack 用 户 、 项 目 是 否 正常 ,代码 如 下 ,结果 如 图 25-17 所 示 。 


openstack user list 
openstack project list 


注册 Keystone 访问 服务 ,分 别 注册 为 公共 的 、 内 部 的 ,管理 的 类 型 , 即 创建 endpoint 服 
$i lal A. Nova, Swift 和 Glance 一样 ,每 个 Openstack 服务 都 拥有 一 个 指定 的 端口 和 专 
属 的 URL , 称 该 URL 为 访问 入 口 (endpoints) ,代码 如 下 : 

openstack service create —- name keystone -- description "OpenStack Identity" identity 

openstack endpoint create —— region RegionOne identity public http://192.168.1.120:5000/v2.0 


openstack endpoint create —- region RegionOne identity internal http://192. 168.1. 120:5000/v2. 0 
openstack endpoint create —- region RegionOne identity admin http: //192. 168. 1.120:35357/v2.0 
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Adb7d18e9f& 9a0 dero 
8c7cd98 4fc7b0698， neutron 
20444807 f98c8 Oe | admin 

7 glance 








Openstack 用 户 及 项 目 








查看 访问 人 口服 务 ,命令 为 openstack endpoint list ,结果 如 图 2 


[rootenodel ~]# openstack endpoint li 


Region 


Regionone identity 
edc44laBa3eblce6c4ce435 | Regionone | m corpute 
(tenant_id)s 

Regionone image 
Regionone | glance image 
37cbb44814a8d2FFFe7Seb0897 | Regionone | nova compute 
tenant_id)s 
751bSe. Regionone | neutron network 


01b4565a2e3b1157001aBaa | Regionone | keystone identit 








18 Openstack endpoint 接口 





给 证 默认 项 目 、. 认 证 用 户 ,获取 token 值 , 只 有 获取 到 了 
Keystone 配置 成 功 , 代 码 如 下 ,结果 如 医 19 所 示 


iH ID .用户 ID 





ve BH 








# unset OS TOKEN 

# unset OS_URL 

openstack —— os - auth - url http://192. 168. 1. 120: 35357/v3 -- os - project - domain - id 
default —— os - user - donain- id default —- os - project - name admin —- os - username admin 一 


word token 





- os - auth- type pa ue 





root&nodel 

rooténodel ~] 

rooténodel ~ 

rooténodel 

root@nodel ~]# openstack --os-auth-ur] http://192.168.1 
t-name adrin --os-username admin - 
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机 时 


所 示 


创建 项 目 、 用 户 及 租户 管理 配置 文件 ,使 用 环境 变量 来 获取 token, 环 境 变量 创建 虚拟 
需要 调用 ,配置 代码 如 下 : 


cat > admin - openrc. sh << EOF 

export OS PROJECT DOMAIN ID = default 
export OS USER DOMAIN ID- default 
export OS PROJECT NAME = admin 

export OS TENANT NAME = admin 

export OS USERNAME - adnin 

export OS PASSWORD - admin 

export OS AUTH URL = http://192. 168.1. 120:35357/v3 
export OS IDENTITY API VERSION = 3 
EOF 

cat > demo — openrc. sh << EOF 

export OS PROJECT DOMAIN ID- default 
export OS USER DOMAIN ID- default 
export OS PROJECT NAME = demo 

export OS TENANT NAME = demo 

export OS USERNAME - deno 

export OS PASSWORD - demo 

export OS AUTH URL = http://192.168.1.120:5000/v3 
export OS IDENTITY API VERSION = 3 
EOF 

unset OS TOKEN 

unset OS URL 


引用 shell 脚本 ,验证 默认 项 目 、 认 证 用 户 , 获 取 token 值 ,命令 如 下 ,访问 如 图 25-20 





source admin - openrc. sh 


openstack token issue 


expires 2 7 11:45:36.99860 
id 3e42019224a 


project id 27b67feaa0d14c0d8b310923404ed493 
user_id cbda414d2ea0444a807f98c8f2a0990e 








20 Openstack 脚本 token 值 验证 


第 25 章 ”Openstack+KVM 构 建 企业 私有 云 |P 523 


25.8 配置 Glance 镜像 服务 


Glance 是 Openstack 镜像 服务 组 件 ,提供 虚 拟 机 镜像 的 发 现 ,注册 .取得 服务 等 功能 ， 
Glance 提供 restful API 可 以 查询 虚拟 机 镜像 metadata 信息 ,并 且 可 以 直接 获取 虚拟 机 镜 
像 , 为 创建 虚拟 机 提供 底层 镜像 模板 支持 。 

通过 Glance 组 件 ,虚拟 机 镜像 可 以 被 存储 到 多 种 存储 上 ,比如 简单 的 硬盘 存储 、 对 象 存 
储 或 分 布 式 文件 系统 等 ,Glance 组 件 内 容 及 工作 流程 ,如 图 25-21 所 示 。 


pm 
a 





YGlance 主 要 由 三 个 部 分 构成 : Glance API ~ Glance registry LJ. 
及 image store 

x Glance API; 接受 云 系 统 镜像 的 创建 、 删 除 、 读 取 请 求 

x Glance registry : 云 系 统 的 镜像 注册 服务 


图 25-21 Openstack Glance 组 件 功 能 


以 下 为 Glance 组 件 服务 配置 方法 , vim 修改 Glance API 接口 配置 文件 /etc/glance/ 
glance-api. conf, 设 置 内 容 如 下 : 


cat »/etc/glance/glance - api. conf << EOF 

DEFAULT] 

verbose - True 

notification driver - noop 

# Galnce 不 需要 消息 队列 

database] 

connection = mysql: //glance :glance@192. 168. 1. 120/glance 
glance_store] 

default_store = file 

并 虚拟 机 镜像 存储 位 置 

filesystem_store_datadir = /var/lib/glance/images/ 
image format] 

keystone authtoken] 

auth uri http://192.168.1.120:5000 

auth url - http://192.168.1.120:35357 

auth plugin - password 

project domain id - default 
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user domain id = default 
project name = service 
username = glance 
password = glance 
[matchmaker redis] 
[matchmaker ring] 

[oslo concurrency] 

[oslo messaging amqpl 

[oslo messaging qpid] 

[oslo messaging rabbit] 
[oslo policy] 

[paste deploy] 

flavor - keystone 

[store type location strategy] 
[task] 

[taskflow executor] 

EOF 


修改 Glance 镜像 注册 配置 文件 /etc/ glance/glance-registry. conf ,内 容 如 下 : 


cat »/etc/glance/glance - registry. conf << EOF 
[DEFAULT] 

verbose = True 

notification_driver = noop 

[database] 

connection = mysq1: //glance:glance@192. 168.1.120/glance 
[glance store] 

[keystone authtoken] 

auth uri = http://192.168.1.120:5000 

auth url = http://192.168.1.120:35357 

auth plugin = password 

project domain id = default 

user domain id = default 

project name - service 


username - glance 
password = glance 
[natchmaker redis] 
[matchmaker ring] 

[oslo messaging anqp] 
[oslo messaging qpid] 
[oslo messaging rabbit] 
[oslo policy] 

[paste deploy] 

flavor - keystone 

EOF 


创建 Glance 数据 库 表 ,同步 Glance 数据 库 , 代 码 如 下 : 
su — s /bin/sh - c "glance- manage db sync" glance 


创建 Glance 的 Keystone 用 户 .注册 用 户 信息 .代码 如 下 : 
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source admin — openrc. sh 

openstack user create —- domain default —- password = glance glance 
openstack role add -- project service -- user glance admin 
+ JA By Glance API 及 registry 服务 

systemctl enable openstack — glance - api 

systemctl enable openstack — glance - registry 

systemctl start openstack - glance - api 

systemctl start openstack - glance - registry 

+ # @ Glance API X registry 服务 进程 端口 

netstat - lnutp |grep 9191 # registry 

netstat - lnutp |grep 9292 # api 


在 Keystone 认证 中 心 注册 Glance 镜像 服务 ,创建 镜像 访问 入 口服 务 ,代码 如 下 : 


Source admin - openrc. sh 

openstack service create —- name glance —- description "OpenStack Image service" image 
openstack endpoint create —- region RegionOne image public http://192.168.1.120:9292 
openstack endpoint create —- region RegionOne image internal http://192.168.1.120:9292 
openstack endpoint create —- region RegionOne image admin http: //192.168.1.120:9292 


添加 Glance 环境 变量 ,获取 镜像 列表 ,代码 如 下 : 





echo "export OS IMAGE API VERSION= 2" | tee -a admin- openrc. sh demo - openrc. sh 
glance image - list 


Wget 远程 下 载 cirros 或 者 CentOS 7 镜像 ,上 传 到 Glance 存储 仓库 ,代码 如 下 : 


wget -q http://download. cirros - cloud. net/0.3.4/cirros- 0.3.4 — x86 64 - disk. img 

glance image create -- name "cirros" -- file cirros - 0.3.4 - x86 64- disk. img -- disk - 
format qcow2 -- container- format bare -- visibility public —- progress 

wget http: //cloud. CentOS. org/Cent0S/7/ images/CentOS — 7 - x86 64 - GenericCloud. qcow2 

glance image- create -- name "CentOS - 7 - x86 64" —- file CentOS - 7 - x86 64 - GenericCloud. 
qcow2 -- disk- format qcow2 -- container - format bare -- visibility public -- progress 


查看 Glance 镜像 仓库 列表 .代码 如 下 ,结果 如 图 22 所 示 。 





glance image - list 
11 /var/lib/glance/images/ 


[roorenodel ~ 


tcp 
[rooténodel ~ 
Tl /var/Tib/c 
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25.9 Nova 控制 节点 配置 


Nova 是 Openstack 框架 中 最 重要 的 调度 和 组 织 控制 器 ,支持 Openstack 私有 云 实例 
Cinstances) 生 命 周 期 的 所 有 管理 操作 ,可 以 把 Nova 看 成 是 一 个 负责 管理 计算 资源 、 网 络 、 
认证 可 扩展 性 的 平台 。 


Nova 自身 并 没有 提供 任何 虚拟 化 能 力 , 它 使 用 libvirt API 来 与 被 支持 的 Hypervisors 
虚拟 化 引擎 进行 交互 ,实现 虚拟 机 的 创建 .销毁 、IP 配置 ,管理 ,重启 等 操作 ,Nova 各 个 模块 
功能 如 图 25-23 所 示 。 





PAPI: 负责 接收 和 响应 外 部 请 求 ， 支 持 
Openstack API. EC2 API 

> Cen: 负责 身份 认证 

» Scheduler: 用 于 云 主机 调度 

> Conductor: 计算 节点 访问 数据 的 中 间 件 

> Consoleauth ; 用 于 控制 台 的 授权 验证 

> Novneproxy ; VNC 代 理 


---- 


i 
` 
` 
W. 
` 
` 
` 
` 
I 
H 


m 





(a) Openstack Nova 功 能 组 件 


E 8 


* Nova API 组 件 实现 了 restful 


GEL n vl Mil inae 

Horizon Nova EC2 tools 
。 接 收 外 部 的 请 求 并 通过 message 
queue 将 请 求 发 送 给 其 他 的 服 Sum J (cu ( XGEU J 
务 组 件 ， 同 时 也 兼容 EC2 API, rest API EC2 API 
所 以 也 可 以 用 EC2 的 管理 工具 


对 Nova 进 行 日 常 管理 








(b) Openstack Nova API 调 度 流程 
Nova Scheduler 
Nova Scheduler 模 块 在 Openstack 中 的 作用 就 是 决策 虚拟 机 创建 在 哪个 主 
机 (计算 节点 ) 上 + 


BPE ULATED ENB EEA : 
e iE (Miter) 


。 计 算 权 值 (weight) 
(c) Openstack Scheduler 调 度 模 块 


图 25-23 Nova 各 个 模块 功能 
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Hosts chosen after filtering 
and sorted after weighting 
(here the best variant is 

host 5, the worst is host 6) 


(d) Openstack Scheduler 虚 拟 机 调度 


re =>} weight 1=12 
Ee Cy >] weight 2=87 
ory >} weight 3=23 


host 1 

host 2 

=i 

IE [cost sa r— weight 4-10 
fe) “e 


Cy =>] weight 5-56 




















host 6 LIMES ew] ET || | [oe 





Hosts Costs of the hosts capabilities weights- sorted 
from the pool relative to the request specifications sums of costs list of hosts 
of hosts 


(e) Openstack Scheduler! 40, ULUR RE Fifi 
图 25-23 (5D 


配置 Openstack Nova 组 件 服务 .配置 代码 如 下 : 


cat »/etc/nova/nova. conf << EOF 

[ DEFAULT] 

my ip- 192.168.1.120 

enabled apis = osapi compute, metadata 

auth strategy - keystone 

network api class - nova. network. neutronv2. api. API 

linuxnet interface driver - nova.network.linux net. NeutronLinuxBridgeInterfaceDriver 
security group api - neutron 
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firewall driver = nova.virt.firewall.NoopFirewallDriver 
debug = true 

54 vif plugging is fatal = False 

vif plugging timeout = 0 

verbose = true 

rpc_backend = rabbit 

allow_resize_to_same_host = True 

Scheduler default filters = RetryFilter, AvailabilityZoneFilter, RamFilter, ComputeFilter, 
ComputeCapabilitiesFilter, ImagePropertiesFilter, ServerGroupAntiAff inityFilter, ServerGroup 
AffinityFilter 

api database] 

[barbican] 

[cells] 

[cinder] 

[conductor] 

cors] 

cors. subdomain] 

database] 

connection = mysql : //nova:nova@ 192. 168. 1. 120/nova 
ephemeral storage encryption] 

glance] 

host = \ $my ip 

guestfs] 

[hyperv] 

[image file url] 

[ironic] 

[keyngr] 

[keystone authtoken] 

auth uri = http://192.168.1.120:5000 

auth url = http://192.168.1.120:35357 

auth plugin = password 

project domain id - default 





user domain id - default 
project name - service 

username - nova 

password = nova 

[libvirt] 

virt type- qemu 

#virt_type = kvm 
[matchmaker_redis] 
[matchmaker_ring] 

[metrics] 

[neutron] 

url = http://192. 168.1. 120:9696 
auth_url = http://192.168.1.120:35357 
auth_plugin = password 
project_domain_id = default 
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user domain id = default 
region name = RegionOne 
project name - service 
username = neutron 

password - neutron 

service metadata proxy - True 
metadata proxy shared secret - neutron 
lock path- /var/1ib/nova/tmp 
osapi v21] 

oslo concurrency] 

oslo messaging amqp] 

oslo messaging qpid] 

oslo messaging rabbit] 
rabbit host - 192.168.1.120 
rabbit port - 5672 

rabbit userid = openstack 
rabbit password - openstack 
oslo middleware] 

rdp] 

[serial console] 

[spice] 

[ss1] 

[trusted computing] 

upgrade levels] 

vmware] 





vnc] 

novncproxy base url- http://192. 168.1. 120:6080/vnc_auto. html 
vncserver listen- \ $my ip 

vncserver proxyclient address = \ $my_ip 

keymap 7 en - us 

workarounds] 

xenserver] 

zookeeper] 

EOF 


同步 Nova 数据 库 并 创建 Nova 用 户 及 启动 服务 ,代码 如 下 : 





su — s /bin/sh - c "nova - manage db sync" nova 


井 创 建 Nova Keystone 用 户 

openstack user create -- domain default -- password = nova nova 
openstack role add -- project service -- user nova admin 

# JH By Nova 相关 服务 


systemctl enable openstack - nova - api. service openstack - nova - cert. service openstack - nova 一 
consoleauth. service openstack - nova - scheduler. service openstack - nova - conductor. service 
openstack - nova - novncproxy. service 

systemctl restart openstack — nova - api. service openstack - nova - cert. service openstack — 
nova - consoleauth. service openstack - nova - scheduler. service openstack - nova - conductor. 
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service openstack — nova - novncproxy. service 

+ fE Keystone 注册 中 心中 注册 Nova 访问 人 口服 务 

source admin - openrc. sh 

openstack service create —- name nova -- description "OpenStack Compute" compute 

openstack endpoint create —— region RegionOne compute public http: //192. 168.1. 120:8774/v2/ % 
\(tenant_id\)s 

openstack endpoint create -- region RegionOne compute internal http://192. 168.1. 120: 8774/ 
v2/ % \(tenant_id\)s 

openstack endpoint create —- region RegionOne compute admin http://192.168.1.120:8774/v2/ % \ 
(tenant_id\)s 








i 


至 此 ,Openstack 控制 节点 Nova 服务 配置 完毕 ,通过 命令 openstack host list 查看 
Openstack 主机 列表 ,如 图 25-24 所 示 。 


internal 
internal 


internal 
internal 








Openstack 3: BL f 


25.10 Nova 计算 节点 配置 


控制 节点 Nova BET 
要 是 接收 MQ 管理 VM 的 








需要 配置 计算 Nova 服务 ,计算 节点 Nova compute 主 
息 ,通过 libvirt API 对 虚拟 机 进行 管理 ,如 图 25-25 所 示 。 





Nova compute 


* Nova compute - 般 运 行 在 计 

















算 节 点 上 ， 通 过 message 
| queue 接 收 并 管理 VM 的 生 合 
周期 
Xen API vCenter API e Nova compute 通 过 libvirt 管 
| | I 1 1 1 理 KVM， 通 过 Xen API 管 理 
Xen 等 


Xen VMWare| | KVM QEMU LXC UML 


(J| ||) |Ë) 
(J| LC) C) [Cod] Lo g 


Openstack 计算 节点 Nova 组 件 
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node 2 Nova 计算 节点 上 安装 Nova 相关 软件 包 , 代 码 如 下 : 


井 安装 epel 及 Openstack liberty 版 本 YUM if 

yum install - y epel- release 

yum install - y CentOS - release - openstack - liberty 

yum install - y python - openstackclient 

# ZA Openstack Nova 计算 节点 服务 

yum install - y openstack - nova - compute sysfsutils 

井 安装 Openstack Neutron 网 络 管理 服务 

yum install - y openstack - neutron openstack - neutron - linuxbridge ebtables ipset 
# ZA Openstack Cinder 块 设备 存储 模块 

yum install - y openstack - cinder python - cinderclient targetcli python - oslo- policy 
# 升 级 KVM Qemu 管理 工具 

yum install - y CentOS - release - qemu - ev. noarch 

yum install qemu - kvm qemu - img 一 了 


计算 节点 vim 修改 nova. conf 主 配置 文件 ,代码 如 下 : 


cat > /etc/nova/nova. conf << EOF 

[DEFAULT] 

my ip- 192.168.1.121 

enabled apis = osapi compute, metadata 

auth strategy = keystone 

network api class = nova. network. neutronv2. api. API 

linuxnet interface driver - nova.network.linux net. NeutronLinuxBridgeInterfaceDriver 
security group api = neutron 

firewall driver = nova. virt. firewall. NoopFirewallDriver 

debug = true 

#vif_plugging_is_fatal = False 

#vif_plugging_timeout = 0 

verbose = true 

rpc_backend = rabbit 

allow_resize_to_same_host = True 

Scheduler default filters = RetryFilter, AvailabilityZoneFilter, RamFilter, ComputeFilter, 
ComputeCapabilitiesFilter, ImagePropertiesFilter, ServerGroupAntiAffinityFilter, ServerGroup 
AffinityFilter 

api database] 

barbican] 

cells] 

cinder] 

conductor] 

cors] 

cors. subdomain] 

database] 

connection = mysql: //nova: nova(à 192. 168. 1.120/nova 

ephemeral storage encryption] 





glance] 
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host = 192. 168.1. 120 

[guestfs] 

[hyperv] 

[image file url] 

[ironic] 

[keyngr] 

[keystone authtoken] 

auth uri = http://192.168.1.120:5000 
http://192.168.1.120:35357 
auth plugin = password 

project domain id - default 


auth url 


user domain id - default 
project name - service 
username - nova 

password - nova 

[libvirt] 

Virt_type = qemu 

#virt_type = kvm 
[matchmaker_redis] 
[matchmaker_ring] 

[metrics] 

[neutron] 

url = http://192. 168. 1.120 :9696 
auth_url = http://192.168.1.120:35357 
auth_plugin = password 
project_domain_id = default 
user_domain_id = default 
region_name = RegionOne 
project_name = service 
username = neutron 

password = neutron 
service_metadata_proxy = True 
metadata_proxy_shared_secret = neutron 
lock path- /var/1ib/nova/tmp 
osapi v21] 

oslo concurrency] 

oslo messaging amqp] 

oslo messaging qpid] 

oslo messaging rabbit] 

rabbit host - 192.168.1.120 
rabbit port = 5672 

rabbit userid- openstack 
rabbit password - openstack 
oslo middleware] 

rdp] 

serial console] 

spice] 
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ssl] 

trusted computing] 

upgrade levels] 

vmware] 

vnc] 

novncproxy base url = http://192.168.1.120:6080/vnc auto. html 
vncserver listen- 0.0.0.0 

vncserver proxyclient address = \ $my ip 

keymap = en - us 

workarounds] 


xenserver] 





zookeeper] 
EOF 





Hit SE Nova libvirtd 及 Nova 服务 ,命令 如 下 : 


systemctl enable libvirtd openstack - nova - compute 


systemctl restart libvirtd openstack - nova - compute 


25.11 Openstack 节点 测试 





Nova 控制 节 
测试 结果 如 


CHE ,以 下 为 在 node 1 计算 节点 进行 测试 ,测试 命令 如 





# 获取 Openstack 主 节点 及 计算 节点 
openstack host list 

# 获 取 Glance 仓库 镜像 

glance image - list 

井 通过 Nova API 接口 获取 Glance 镜像 
nova image- list 


rootünodel -]# openstack host list 


interna] 
internal 
internal 
internal 


@nodel ~]# nova endpoints 





(a) Openstack 控 制 节 点 及 计算 节点 获取 


图 





26 Openstack 节点 测试 
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neutron 


interface 
region 
region_id 


neutron 


id 
interface 


region 
egion id 
ur http: //192.16/ 


glance 


aad9a889174d869db1da40! 
interface | internal 
region 


interface 
region 
region id 
http://192.168.1.120:9 


glance has no endpoint in ! Available endpoints for this ser 
neutron has no endpoint in ! Available endpoints for this se 
neutron has no endpoint in ! available endpoints for this se 





(c) Openstack endpoint 访 问 接口 (2) 


图 25-26 (5D 


25.12 Neutron 控制 节点 配置 


Openstack Neutron 组 件 主 要 提供 云 计 算 的 网 络 虚 拟 化 功能 ,为 Openstack 其 他 服务 提 
供 网 络 连接 服务 ,为 用 户 提 供 接 口 , 可 以 定义 network, subnet, router, DHCP, DNS, fi 28 15] 
衡 、.L3 服务 .GRE、VLAN ,插件 架构 支持 许多 的 网 络 厂家 和 技术 

Openstack 网 络 发 展 经 历 过 3 次 大 的 变革 和 发 展 . 从 最 早 的 Nova-network 到 
Quantum. ,再 到 最 新 的 Neutron ,支持 的 网 络 插件 越 来 越 多 ,Openstack 网 络 发 展 及 组 件 功 能 
如 图 25-27 所 示 








Openstack networking 


Nova- 
> “sss > Quantum > Neutron 
netwol 


FLAT Vxlan 
VLAN GRE 








(a) Openstack 网 络 发 展 及 插件 








Openstack 网 络 发 展 及 组 件 功能 
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公共 网 络 : 向 租户 提供 访问 或 者 API 调 用 

管理 网 络 : 云 中 物理 机 之 间 的 通信 

存储 网 络 : 云 中 存储 的 网 络 ， 如 ISCSI 或 GlusterFS 使 用 
服务 网 络 : 虚拟 机 内 部 使 用 的 网 络 


Openstack networking 
。 网 络 : 在 实际 的 物理 环境 下 ， 一 般 使 用 交换 机 或 集线器 把 多 个 计算 机 连接 起 来 形成 网 络 。 在 
Neutron 的 世界 里 ， 网 络 也 是 将 多 个 不 同 的 云 主机 连接 起 来 
。 子 网 : 在 实际 的 物理 环境 下 ， 在 一 个 网 络 中 ， 可 以 将 网 络 划 分 成 多 个 逻辑 子 网 ， 在 Neutron 
的 世界 里 ， 子 网 也 是 隶属 于 网 络 下 的 
。 端 口 : 在 实际 的 物理 环境 下 ， 每 个 子 网 或 每 个 网 络 ， 都 有 很 多 的 端口 ， 比 如 交换 机 端口 来 供 
wee 在 Neutron 的 世界 里 ， 端 口 也 是 隶属 于 子 网 下 ， 云 主机 的 网 卡 会 对 应 到 一 个 端 


H 
。 路 由 器 ; 在 实际 的 网 络 环境 ， 不 同 网 络 或 不 同 逻 辑 子 网 之 间 如 果 需 要 进行 通信 ， 需 要 通过 路 
由 器 进行 路 由 ， 在 Neutron 的 世界 里 ， 路 由 也 是 这 个 作用 ， 用 来 连接 不 同 的 网 络 或 子 网 


(b) Openstack 网 络 功能 











J 
Neutron server 
ML2(module 
layer2)plugin DHCP-agent L3-agent LBAAS-agent 其 他 agent 
N x NY ad 
Linux bridge 
Wa 
Openvswitch 
a ei 
其 他 商业 插件 


ws 


(c) Openstack Neutron 组 件 服务 架构 


ML2 : 可 以 实现 下 面 多 个 网 络 插件 的 共存 
DHCP-agent : 分 配 IP 地 址 

L3-agent: 用 来 路 由 

LBASS-agent; 负载 均衡 


(d) Openstack Neutron 组 件 功能 
25-27 (BE) 
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Neutron 控制 节点 node 1 配置 ,修改 /etc/neutron/neutron. conf 主 配置 文件 ,执行 如 下 
命令 : 


cat >/etc/neutron/neutron. conf << EOF 
[DEFAULT] 

state path = /var/lib/neutron 

core plugin = ml2 

service plugins = router 

auth strategy = keystone 

notify nova on port status changes = True 
notify nova on port data changes - True 
nova url = http://192.168.1.120:8774/v2 
rpc backend = rabbit 

[matchmaker redis] 

[matchmaker ring] 

[quotas] 

[agent] 

[keystone authtoken] 

auth uri = http://192.168.1.120:5000 
auth url = http://192.168.1.120:35357 
auth plugin - password 

project domain id = default 

user domain id - default 

project name - service 

username - neutron 

password = neutron 

admin tenant name = % SERVICE TENANT NAME & 
admin user = % SERVICE USER & 

admin password = % SERVICE PASSWORD % 
[database] 

connection = mysql://neutron:neutron@192. 168.1. 120:3306/neutron 
[nova] 

auth_url = http://192.168.1.120:35357 
auth_plugin = password 
project_domain_id = default 
user_domain_id = default 

region name = RegionOne 

project name - service 

username - nova 

password - nova 

[oslo concurrency] 

lock path = $state path/lock 

[oslo policy] 

[oslo messaging amqp] 

[oslo messaging qpid] 

[oslo messaging rabbit] 

rabbit host - 192.168.1.120 
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rabbit_port = 5672 
rabbit_userid = openstack 
rabbit password = openstack 
[qos] 

EOF 


创建 配置 文件 ml2_conf. ini, linuxbridge_agent. ini, dhcp. agent. ini, metadata, agent. 
ini, 配 置 方法 如 下 : 


cat »/etc/neutron/plugins/ml2/ml2 conf.ini << EOF 
m12] 

type drivers = flat, vlan, gre, vxlan, geneve 
tenant network types - vlan,gre, vxlan, geneve 
mechanism drivers = openvswitch, linuxbridge 
extension drivers - port security 

m12 type flat] 

flat networks - physnetl 

ml2 type vlan] 

ml2 type gre] 

ml2 type vxlan] 

ml2 type geneve] 

securitygroup] 

enable ipset - True 

EOF 

cat »/etc/neutron/plugins/ml2/linuxbridge agent. ini «« EOF 
linux bridge] 

physical interface mappings = physnetl:ethO 
vxlan] 

enable vxlan - false 

agent] 

prevent arp spoofing - True 

securitygroup] 

firewall driver = neutron. agent. linux. iptables firewall. IptablesFirewallDriver 
enable_security_group = True 

EOF 

cat »/etc/neutron/dhcp agent. ini << EOF 

DEFAULT] 

interface driver = neutron. agent. linux. interface. BridgeInterfaceDriver 
dhcp driver = neutron. agent. linux. dhcp. Dnsmasq 
enable isolated metadata - true 





AGENT] 

EOF 

cat »/etc/neutron/metadata agent. ini << EOF 
DEFAULT] 

auth uri http://192.168.1.120:5000 





auth url - http://192.168.1.120:35357 
auth region - RegionOne 
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auth plugin = password 

project domain id - default 

user domain id - default 

project name - service 

username = neutron 

password - neutron 

nova metadata ip - 192.168.1.120 
metadata proxy shared secret - neutron 
admin tenant name = % SERVICE TENANT NAME % 
admin user = % SERVICE USER % 

admin password = % SERVICE PASSWORD % 
[AGENT] 

EOF 


创建 Keystone 的 用 户 Neutron ,更 新 数据 库 信 息 及 注册 至 Keystone 中 ,代码 如 下 : 


井 创 建 连接 并 创建 Keystone 的 用 户 

1n - s /etc/neutron/plugins/m12/m12_conf. ini /etc/neutron/plugin. ini 

openstack user create -- domain default -- password = neutron neutron 

openstack role add -- project service -- user neutron admin 

井 更 新 Neutron 数据 库 

su —s /bin/sh - c "neutron- db - manage -- config- file /etc/neutron/neutron.conf —— config - 
file /etc/neutron/plugins/ml2/ml2 conf. ini upgrade head" neutron 

su -s /bin/sh - c "neutron- db- manage -- config- file /etc/neutron/neutron. conf -- config 
- file /etc/neutron/plugins/nl2/ml2 conf.ini upgrade head" neutron 

# fE Keystone 注册 中 心 注册 网 络 访问 入 口服 务 

source admin - openrc. sh 

openstack service create —- name neutron -- description "OpenStack Networking" network 
openstack endpoint create —- region RegionOne network public http://192.168.1.120:9696 
openstack endpoint create -- region RegionOne network internal http://192.168.1.120:9696 
openstack endpoint create -- region RegionOne network admin http://192.168.1.120:9696 


因为 Neutron 和 Nova 需要 关联 ,对 Neutron 进行 调整 ,需要 重启 openstack-nova-api 
接口 服务 ,Nova 相关 服务 重启 命令 如 下 : 


systemctl restart openstack - nova - api. service openstack - nova - cert. service openstack 一 
nova - consoleauth. service openstack - nova - scheduler. service openstack - nova - conductor. 
service openstack - nova - novncproxy. service 

systemctl enable neutron - server. service neutron - linuxbridge - agent. service neutron - dhcp 
— agent. service neutron - metadata - agent. service 

systemctl restart neutron - server. service neutron - linuxbridge - agent. service neutron - dhcp 
— agent. service neutron - metadata - agent. service 

mkdir - p /lock;chmod 777 - R /lock 


Neutron 节点 配置 测试 ,代码 如 下 ,结果 如 图 25-28 所 示 。 


# 查 看 Openstack 所 有 访问 人 口服 务 
openstack endpoint list 
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[rootenodel ~]# openstack endpoint list 


Region 


Regionone 
Regionone 
Regionone 
Regionone 
Regionone 


Regionone 


25.13 Neutron 计算 节点 配置 


置 之 


Neutron 除了 控制 节点 node 1 Ad 外 ,在 每 


node 2 主 配 置 文件 /etc/neutron/neutron. conf HA 4 


cat >/etc/neutron/neutron. conf << EOF 


[DEFAULT] 

state path = /var/lib/neutron 

core plugin = ml2 

service plugins = router 

auth strategy = keystone 

notify nova on port status changes - True 
notify nova on port data changes - True 


http://192. 168. 1.120:8774/v2 
rpc_backend = rabbit 

[matchmaker_redis] 

[matchmaker ring] 


nova url 


[quotas] 

[agent] 

[keystone authtoken] 
http://192.168.1.120:5000 
http://192.168.1.120:35357 


auth uri 


auth url 


auth plugin 


= password 
default 


user domain id = default 


project domain id 


project name - service 


username neutron 


password - neutron 


admin tenant name = % SERVICE TENANT NAME % 
% SERVICE USER & 
% SERVICE PASSWORD % 


admin user 


admin password 
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rvice Name | Service Type 


keystone identity 


nova compute 


glance 


image 
irage 


compute 


He 


计算 节点 
Wr. 


同样 需要 进行 配置 ,修改 
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[database] 

connection = mysql://neutron:neutron(4)192.168.1.120:3306/neutron 
[nova] 

auth url - http://192.168.1.120:35357 
auth plugin - password 
project domain id - default 
user domain id - default 
region name - RegionOne 
project name - service 
username = nova 

password = nova 

[oslo concurrency] 

lock path = $state path/lock 
[oslo policy] 

[oslo messaging amqp] 

[oslo messaging qpid] 

[oslo messaging rabbit] 
rabbit host - 192.168.1.120 
rabbit port - 5672 

rabbit userid - openstack 
rabbit password = openstack 
[qos] 

EOF 


修改 Neutron 相关 配置 文件 linuxbridge agent. ini, ml2 conf. ini, 配 置 方法 如 下 : 


cat »/etc/neutron/plugins/ml2/linuxbridge agent. ini << EOF 
linux bridge] 

physical interface mappings = physnetl:ethO 

vxlan] 

enable vxlan - false 

agent] 

prevent arp spoofing - True 

securitygroup] 

firewall driver = neutron. agent. linux. iptables firewall. IptablesFirewallDriver 
enable_security_group = True 

EOF 

cat »/etc/neutron/plugins/ml2/ml2 conf.ini << EOF 

m12] 

type drivers = flat, vlan, gre, vxlan, geneve 

tenant network types = vlan, gre, vxlan, geneve 

mechanism drivers = openvswitch, linuxbridge 

extension drivers - port security 

ml2 type flat] 

flat networks - physnetl 

ml2 type vlan] 





第 25 章 ”Openstack+KVM 构 建 企业 私有 云 |P 541 


[n12 type gre] 

[nl2 type vxlan] 

[n12 type geneve] 

[securitygroup] 

enable ipset - True 

EOF 

mkdir -p /lock;chmod 777 - R /lock 

In - s /etc/neutron/plugins/ml2/ml2 conf. ini /etc/neutron/plugin. ini 
systemctl enable neutron - linuxbridge - agent. service 


systemctl restart neutron - linuxbridge - agent. service 


25.14 控制 节点 创建 网 桥 


Neutron 控制 节点 和 计算 节点 配置 完毕 ,在 node 1 控制 节点 上 检查 
点 信息 ,代码 如 下 ,结果 如 图 25-29 所 示 





让 节点 及 计算 节 


neutron agent - list 


nodel 


nodel 
node2 


nodel 





图 





Openstack 网 络 节点 agent 信息 


在 node 1 控制 主 节点 ,创建 共享 网 络 ,并 创建 虚拟 机 分 配 网 段 及 网 关 地 址 ,代码 如 下 ， 
结果 如 图 25-30 所 示 。 





source admin - openrc. sh 

neutron net - create flat - - shared - - provider: physical network physnetl - - provider: 
network type flat 

neutron subnet - create flat 192.168.1.0/24 —- name flat- subnet —- allocation- pool start = 
192.168. 1. 140, end = 192.168.1.200 —- dns - nameserver 192.168.1.1 —- gateway 192.168.1.1 
neutron net- list 


neutron subnet - list 


创建 Openstack 密 钥 对 主要 是 用 于 免 密 码 登录 ,默认 创建 虚拟 机 ,登录 虚拟 机 需要 用 户 
名 和 密码 ,创建 密 钥 对 之 后 在 控制 节点 登录 新 创建 的 虚拟 机 可 以 直接 以 密 钥 的 方式 登录 ,无 
须 密码 ,因为 创建 虚拟 机 时 ,会 将 公 钥 写 入 到 虚拟 机 系统 中 ,以 下 为 生成 密 钥 对 及 创建 安全 
组 的 方法 : 





542 <| 曝光 Linux 企 业 运 维 实战 





[root@nodel ~]# neutron net-list 
n ib 1 





Openstack 创建 Neutron 虚拟 机 网 


# 创建 ssh keypair 
ssh- keygen -t rsa -P ' ' f ~/.ssh/id_rsa 





nova keypair -add —- pub- key /root/. ssh/id rsa.pub nykey 
nova keypair - list 

# 创建 安全 组 ,允许 icmp ping.22.80 端口 

nova secgroup - add - rule default icmp -1 -10.0.0.0/0 
nova secgroup - add - rule default tcp 22 22 0.0.0.0/0 

nova secgroup - add - rule default tcp 80 80 0.0.0.0/0 


查看 Openstack 支持 的 虚拟 机 类 型 Nova 镜像 列表 及 Neutron 网 络 ,命令 如 下 ， 如 


图 25-31 所 示 。 





+ ft fi Openstack 支持 的 虚拟 机 类 型 
nova flavor - list 

# 查 看 Nova 镜像 列表 

nova image- list 

+ frfi Neutron 网 络 

neutron net - list 


c13fce6e-1210-4395-b8a9-a4b0e415c7a3 





图 25-31 Openstack 虚拟 机 类 





 、 镜 像 及 网 络 信息 


通过 Nova 指令 创建 虚拟 机 ,指定 网 络 ID 为 2d64a8c-d0c6-444e-828c-6a988539ddad, 指 
定 镜像 名 称 为 cirros ,启动 命令 如 下 ,结果 如 图 2 所 示 。 
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nova boot -- flavor ml. tiny —- image cirros -- nic net - id = 6277d20f - d033 - 42b8 - 96bc — 
6565ff07e8a3 —- security group default -- key - name mykey hello- instance 








Openstack 虚拟 机 实例 

创建 虚拟 机 的 时 候 ,Openstack 在 Neutron 组 网 内 是 采用 dhep-agent 自动 分 配 IP ,可 以 
在 创建 虚拟 机 的 时 候 , 指 定 固定 的 TP 地址。 
25.15 控制 节点 配置 dashboard 


Openstack 各 个 组 件 配置 完毕 ,为 了 能 更 加 方便 .快捷 地 对 虚拟 机 及 Openstack 私有 云 
进行 管理 ,引入 dashboard Web 界面 可 以 在 Web 平台 中 去 管理 Openstack 相关 组 件 ， 
Openstack Web 部 署 方法 如 下 : 





yum install openstack - dashboard - y 

cat > /etc/openstack — dashboard/local settings << EOF 

import os 

from django. utils. translation import ugettext lazy as _ 

from openstack_dashboard import exceptions 

from openstack_dashboard. settings import HORIZON_CONFIG 

DEBUG = False 

TEMPLATE_DEBUG = DEBUG 

# WEBROOT is the location relative to Webserver root 

# should end witha slash. 

WEBROOT = '/dashboard/' 

LOGIN URL = WEBROOT + 'auth/login/' 

LOGOUT URL = WEBROOT + 'auth/logout/' 

LOGIN_REDIRECT_URL can be used as an alternative for 
HORIZON_CONFIG. user_home, if user_home is not set. 

Do not set it to '/home/', as this will cause circular redirect loop 
LOGIN REDIRECT URL - WEBROOT 

Required for Django 1. 5. 

1f horizon is running in production (DEBUG is False), set this 
with the list of host/domain names that the application can serve. 


At At Ab dk dk dk dt Ab db dt 


For more information see: 


w 


https ://docs. djangoproject. com/en/dev/ref/settings/ # allowed - hosts 
ALLOWED HOSTS = ['»'] 


m 


& Set SSL proxy settings: 
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# For Django 1.4+ pass this header from the proxy after terminating the SSL, 

井 and don't forget to strip it from the client's request. 

# For more information see: 

# https://docs. djangoproject. con/en/1. 4/ref/settings/ & secure - proxy - ssl- header 
# SECURE PROXY SSL HEADER = ('HTTP X FORWARDED PROTOCOL', 'https') 

# https://docs. djangoproject. con/en/1. 5/ref/settings/ + secure - proxy - ssl- header 
# SECURE PROXY SSL HEADER = ('HTTP X FORWARDED PROTO', 'https') 

# If Horizon is being served through SSL, then uncomment the following two 

# settings to better secure the cookies from security exploits 

£CSRF COOKIE SECURE = True 

X SESSION COOKIE SECURE = True 

# Overrides for OpenStack API versions. Use this setting to force the 

# OpenStack dashboard to use a specific API version for a given service API. 

# Versions specified here should be integers or floats, not strings. 

* NOTE: The version should be formatted as it appears in the URL for the 

# service API. For example, The identity service APIs have inconsistent 

# use of the decimal point, so valid options would be 2.0 or 3. 

# OPENSTACK API VERSIONS = { 


* "data - processing": 1.1, 
E "identity": 3, 

# "volume": 2, 

#) 


# Set this to True if running on multi - domain model. When this is enabled, it 
* will require user to enter the Domain name in addition to username for login. 
#OPENSTACK_KEYSTONE_MULTIDOMAIN SUPPORT = False 

* Overrides the default domain used when running on single - domain model 

# with Keystone V3. All entities will be created in the default domain. 

# OPENSTACK KEYSTONE DEFAULT DOMAIN = 'Default' 

# Set Console type: 

* valid options are "AUTO"(default), "VNC", "SPICE", "RDP", "SERIAL" or None 
# Set to None explicitly if you want to deactivate the console. 

* CONSOLE TYPE = "AUTO" 

* Show backdrop element outside the modal, do not close the modal 

# after clicking on backdrop. 

# HORIZON CONFIG["modal backdrop"] = "static" 

# Specify a regular expression to validate user passwords. 

# HORIZON CONFIG["password validator"] = { 


4 "regex": 1. *', 
# "help text": ("Your password does not meet the requirements. "), 
#) 


# Disable simplified floating IP address management for deployments with 
# multiple floating IP pools or complex network requirements. 

# HORIZON CONFIG[ "simple ip management"] = False 

# Turn off browser autocompletion for forms including the login form and 
# the database creation workflow if so desired. 

# HORIZON_CONFIG[ "password_autocomplete"] = "off" 
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# Setting this to True will disable the reveal button for password fields, 
# including on the login form. 
# HORIZON CONFIG["disable password reveal"] = False 
LOCAL PATH = '/tmp' 
# Set custom secret key: 
# You can either set it to a specific value or you can let horizon generate a 
# default secret key that is unique on this machine, e. i. regardless of the 
# amount of Python WSGI workers (if used behind Apache + mod wsgi): However, 
# there may be situations where you would want to set this explicitly, e.g. 
# when multiple dashboard instances are distributed on different machines 
# (usually behind a load- balancer). Either you have to make sure that a session 
井 gets all requests routed to the same dashboard instance or you set the same 
# SECRET KEY for all of them. 
SECRET KEY = '36c739e5c252f9e014d9" 
* We recommend you use memcached for development; otherwise after every reload 
# of the django development server, you will have to login again. To use 
# memcached set CACHES to something like 
CACHES = { 
‘default': { 
'BACKEND' : 'django. core. cache. backends. memcached. MemcachedCache' , 
'LOCATION': '192.168.1.120:11211', 


) 


#CACHES = ( 

# 'default': ( 

# 'BACKEND': 'django. core. cache. backends. locmem. LocMemCache' , 
# ) 

#) 


# Send email to the console by default 

EMAIL BACKEND = 'django.core. mail. backends. console. EmailBackend" 

# Or send then to /dev/null 

#EMAIL BACKEND = ‘django. core. mail. backends. dummy. EnailBackend' 

# Configure these for your outgoing email host 

#EMAIL HOST = 'sntp.my- company.com! 

EMAIL PORT = 25 

# EMAIL HOST USER = 'djangomail' 

EMAIL HOST PASSWORD = 'top- secret! ' 

For multiple regions uncomment this configuration, and add (endpoint, title). 
AVAILABLE REGIONS - [ 

E (http: //clusterl.example.com:5000/v2.0', 'clusterl'), 

* ('http: //cluster2. example.com:5000/v2.0', 'cluster2'), 

] 
OPENSTACK HOST = "192.168.1.120" 

OPENSTACK KEYSTONE URL = "http:// $5:5000/v2.0" % OPENSTACK HOST 
OPENSTACK KEYSTONE DEFAULT ROLE = "user" 








Enables keystone web single - sign - on if set to True. 
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4 WEBSSO ENABLED = False 
# Determines which authentication choice to show as default. 
X WEBSSO INITIAL CHOICE = "credentials" 
# The list of authentication mechanisms 
# which include keystone federation protocols. 
# Current supported protocol IDs are 'saml2' and 'oidc' 
# which represent SAML 2. 0, OpenID Connect respectively. 
井 Do not remove the mandatory credentials mechanism. 
4 WEBSSO CHOICES = ( 
# ("credentials", _("Keystone Credentials")), 
# ("oidc", ("OpenID Connect")), 
# ("sam12", ("Security Assertion Markup Language"))) 
# Disable SSL certificate checks (useful for self - signed certificates): 
# OPENSTACK SSL NO VERIFY = True 
# The CA certificate to use to verify SSL connections 
# OPENSTACK SSL CACERT = '/path/to/cacert. pem' 
# The OPENSTACK KEYSTONE BACKEND settings can be used to identify the 
# capabilities of the auth backend for Keystone. 
* If Keystone has been conf igured to use LDAP as the auth backend then set 
# can edit user to False and name to 'ldap'. 
# 
# TODO(tres): Remove these once Keystone has an API to identify auth backend. 
OPENSTACK KEYSTONE BACKEND = ( 
'name': 'native', 
'can edit user': True, 
'can edit group': True, 
'can edit project': True, 
'can edit domain': True, 
'can edit role': True, 


# Setting this to True, will add a new "Retrieve Password" action on instance, 
# allowing Admin session password retrieval/decryption. 
OPENSTACK ENABLE PASSWORD RETRIEVE - False 


# The Launch Instance user experience has been significantly enhanced. 

You can choose whether to enable the new launch instance experience, 

the legacy experience, or both. The legacy experience will be removed 

ina future release, but is available as a temporary backup setting to ensure 
# compatibility with existing deployments. Further development will not be 

# done on the legacy experience. Please report any problems with the new 
experience via the Launchpad tracking system. 


Toggle LAUNCH INSTANCE LEGACY ENABLED and LAUNCH INSTANCE NG ENABLED to 
determine the experience to enable. Set them both to true to enable 

both. 

LAUNCH INSTANCE LEGACY ENABLED = True 
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#LAUNCH INSTANCE NG ENABLED = False 


# The Xen Hypervisor has the ability to set the mount point for volumes 
# attached to instances (other Hypervisors currently do not). Setting 
# can set mount point to True will add the option to set the mount point 
# from the UI. 
OPENSTACK HYPERVISOR FEATURES - ( 

'can set mount point': False, 

'can set password': False, 

'requires keypair': False, 


# The OPENSTACK CINDER FEATURES settings can be used to enable optional 
* services provided by cinder that is not exposed by its extension API. 
OPENSTACK CINDER FEATURES - ( 

'enable backup': False, 


* The OPENSTACK NEUTRON NETWORK settings can be used to enable optional 
# services provided by neutron. Options currently available are load 
# balancer service, security groups, quotas, VPN service. 
OPENSTACK NEUTRON NETWORK = { 

'enable router': True, 

'enable quotas': True, 

'enable ipv6': True, 

'enable distributed router': False, 

'enable ha router': False, 

'enable lb': True, 

'enable firewall': True, 

'enable vpn': True, 

'enable fip topology check': True, 


# Neutron can be configured with a default Subnet Pool to be used for IPv4 
# subnet- allocation. Specify the label you wish to display in the Address 
# pool selector on the create subnet step if you want to use this feature. 
'default ipv4 subnet pool label': None, 


* Neutron can be configured with a default Subnet Pool to be used for IPv6 
4 subnet- allocation. Specify the label you wish to display in the Address 
# pool selector on the create subnet step if you want to use this feature. 
# You must set this to enable IPv6 Prefix Delegation in a PD- capable 

# environment. 

'default ipv6 subnet pool label': None, 


# The profile support option is used to detect if an external router can be 
# configured via the dashboard. When using specific plugins the 
* profile support can be turned on if needed. 
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'profile support': None, 
#'profile_support': 'cisco', 


# Set which provider network types are supported. Only the network types 
# in this list will be available to choose from when creating a network. 
# Network types include local, flat, vlan, gre, and vxlan. 

'supported provider types': [' * '], 


# Set which VNIC types are supported for port binding. Only the VNIC 
井 types in this list will be available to choose from when creating a 
# port. 

# VNIC types include 'normal', 'macvtap' and 'direct'. 

井 Set to empty list or None to disable VNIC type selection. 
'supported vnic types': ['* '] 


# The OPENSTACK IMAGE BACKEND settings can be used to customize features 
# in the OpenStack Dashboard related to the Image service, such as the list 
* of supported image formats. 

# OPENSTACK IMAGE BACKEND = { 

# 'image_formats': [ 


# ('', _('Select format')), 

# ('aki', ('AKI - Amazon Kernel Image')), 

# ('ami', ('AMI — Amazon Machine Image')), 
# ('ari', ('ARI - Amazon Ramdisk Image')), 
# ('docker', _('Docker')), 

# ('iso', _('ISO - Optical Disk Image')), 

# ('ova', _('OVA - Open Virtual Appliance')), 
# ('qcow2', _('QCOW2 — QEMU Emulator')), 

E ('raw', ('Raw')), 

井 ('vdi', ('VDI - Virtual Disk Image')), 

# ('vhd', ('VHD - Virtual Hard Disk')), 

# ('vmdk', ('VMDK - Virtual Machine Disk')), 
# ] 

#) 


# The IMAGE CUSTOM PROPERTY TITLES settings is used to customize the titles for 
* image custom property attributes that appear on image detail pages. 
IMAGE CUSTOM PROPERTY TITLES - ( 

"architecture": ("Architecture"), 

"kernel id": ("Kernel ID"), 

"ramdisk id": ("Randisk ID"), 

"image state": _("Euca2ools state"), 

"project id": ("Project ID"), 

"image type": ("Image Type"), 
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井 The IMAGE RESERVED CUSTOM PROPERTIES setting is used to specify which image 
# custom properties should not be displayed in the Image Custom Properties 

# table. 

IMAGE RESERVED CUSTOM PROPERTIES - [] 


# OPENSTACK ENDPOINT TYPE specifies the endpoint type to use for the endpoints 
# in the Keystone service catalog. Use this setting when Horizon is running 

# external to the OpenStack environment. The default is 'publicURL'. 
+OPENSTACK ENDPOINT TYPE = "publicURL" 


# SECONDARY ENDPOINT TYPE specifies the fallback endpoint type to use in the 
# case that OPENSTACK ENDPOINT TYPE is not present in the endpoints 

# in the Keystone service catalog. Use this setting when Horizon is running 
井 external to the OpenStack environment. The default is None. This 

* value should differ from OPENSTACK ENDPOINT TYPE if used. 

# SECONDARY ENDPOINT TYPE = "publicURL" 


# The number of objects (Swift containers/objects or images) to display 
# ona single page before providing a paging element (a "more" link) 

# to paginate results. 

API RESULT LIMIT - 1000 

API RESULT PAGE SIZE - 20 


# The size of chunk in bytes for downloading objects from Swift 
SWIFT FILE TRANSFER CHUNK SIZE = 512 * 1024 


# Specify a maximum number of items to display in a dropdown. 
DROPDOWN MAX ITEMS - 30 


# The timezone of the server. This should correspond with the timezone 
# of your entire OpenStack installation, and hopefully be in UTC. 
TIME ZONE = "Asia/Shanghai" 


# When launching an instance, the menu of available flavors is 

# sorted by RAM usage, ascending. If you would like a different sort order, 

# you can provide another flavor attribute as sorting key. Alternatively, you 
# can provide a custom callback method to use for sorting. You can also provide 
# a flag for reverse sort. For more info, see 

# http://docs. python. org/2/library/functions. html # sorted 
+CREATE_INSTANCE_FLAVOR_SORT = { 


# 'key': 'name', 

# # or 

a 'key': my awesome callback method, 
# 'reverse': False, 

#) 


# Set this to True to display an 'Admin Password' field on the Change Password 
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# form to verify that it is indeed the admin logged - in who wants to change 
# the password. 
HENFORCE_PASSWORD CHECK = False 


# Modules that provide /auth routes that can be used to handle different types 
# of user authentication. Add auth plugins that require extra route handling to 


# this list. 

+ AUTHENTICATION URLS = [ 
# ‘openstack_auth. urls', 
#] 


# The Horizon Policy Enforcement engine uses these values to load per service 
# policy rule files. The content of these files should match the files the 

# OpenStack services are using to determine role based access control in the 
# target installation. 


Map of local copy of service policy files. 

Please insure that your identity policy file matches the one being used on 
your keystone servers. There is an alternate policy file that may be used 

in the Keystone v3 multi-domain case, policy. v3cloudsample. json. 

This file is not included in the Horizon repository by default but can be 
found at 

http://git. openstack. org/cgit/openstack/keystone/tree/etc/ \ 

policy. v3cloudsample. json 

# Having matching policy files on the Horizon and Keystone servers is essential 


ae dE dE dk dk db dt odi 


* for normal operation. This holds true for all services and their policy files. 
POLICY FILES PATH = '/etc/openstack - dashboard' 

POLICY FILES PATH = '/etc/openstack - dashboard' 

# Map of local copy of service policy files 

* POLICY FILES = ( 

E: 'identity': 'keystone policy. json', 

'compute': 'nova policy. json’, 

'volume': 'cinder policy. json', 

'image': 'glance policy. json', 





'orchestration': 'heat policy. json’, 
'network': 'neutron policy.json', 
'telemetry': 'ceilometer policy. json', 


ay AE dE GE db di di 


# Trove user and database extension support. By default support for 
井 creating users and databases on database instances is turned on. 
# To disable these extensions set the permission here to something 
# unusable such as ["!"]. 

+TROVE_ADD_USER_PERMS = [] 

#TROVE_ADD_DATABASE_PERMS = [] 
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# Change this patch to the appropriate static directory containing 
# two files: variables.scss and styles.scss 
#CUSTOM THEME PATH = 'themes/default' 


LOGGING - ( 
'version': 1, 
# When set to True this will disable all logging except 
# for loggers specified in this configuration dictionary. Note that 
# if nothing is specified here and disable existing loggers is True, 
# django.db.backends will still log unless it is disabled explicitly. 
'disable existing loggers': False, 
‘handlers': { 
'null': { 
‘level’: 'DEBUG', 
'class': 'django. utils. log. NullHandler', 


), 


'console': ( 
# Set the level to "DEBUG" for verbose output logging. 
'level': 'INFO', 


'class': ' logging. StreamHandler', 
), 
), 
'loggers': ( 
# Logging from django. db. backends is VERY verbose, send to null 
# by default. 
'django. db. backends' : ( 
"handlers': ['null'], 
'propagate': False, 


'handlers': ['null'], 
'propagate': False, 

) 

"horizon': { 
"handlers': ['console'], 
'level': 'DEBUG', 
‘propagate’: False, 

) 

'openstack dashboard': ( 
'handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 

Lh 

'novaclient': { 
'handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 
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'cinderclient' : { 
'handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 

), 

"keystoneclient': { 
'handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 





), 

'glanceclient': ( 
'handlers': ['console'], 
'level': BUG', 
'propagate': False, 

) 


'neutronclient': { 
'console'], 
BUG', 
'propagate': False, 





) 

"heatclient': { 
"handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 

), 

'ceilometerclient': ( 
"handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 

}, 

'troveclient': { 
'handlers': ['console' ], 
'level': 'DEBUG', 
"propagate': False, 

), 

'swiftclient': ( 
'handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 

) 

'openstack auth': { 
'handlers': ['console'], 
'level': 'DEBUG', 
"propagate': False, 





) 


"nose. plugins. manager': ( 
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'handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 

Lh 

'django' : ( 
'handlers': ['console'], 
'level': 'DEBUG', 
'propagate': False, 

) 

'isoB601': ( 
'handlers': ['null'], 
'propagate': False, 

), 

'scss': { 
"handlers': ['null'], 
'propagate': False, 

) 


# 'direction' should not be specified for all tcp/udp/icmp. 
# It is specified in the form. 
SECURITY GROUP RULES - ( 
'all tcp': ( 
'name': ('All TCP'), 
'ip protocol': 'tcp', 
1', 
'to port': '65535', 





'from port': 


)h 
'all udp': { 
‘name’: ('All UDP'), 
'ip protocol': 'udp', 
"from port': '1', 
"to port': '65535', 
), 
'all iemp': { 
‘name’: ('A1l ICMP"), 








'ip protocol': 'icmp', 
"from port': ' - 1', 
'to port': '-1', 

), 

*ssh'; ( 


'name': 'SSH', 

'ip protocol': 'tcp', 
"from port 22', 
*to_port': '22', 





), 
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'sntp': { 
'name': 'SMTP', 
'ip protocol': 'tcp', 
"from port': '25', 
"to port': '25', 











), 

'dns': { 
'name': 'DNS', 
'ip protocol': 'tcp', 
'from port': '53', 
‘to port': '53', 

)h 

"http': { 
'name': 'HTTP', 
'ip protocol': 'tcp', 
'from port': '80', 
'to port': '80', 

) 

'pop3' : ( 
'name': 'POP3', 
'ip protocol': 'tcp', 
'from port 110', 
'to port': '110', 

), 

'imap': ( 
'name': 'IMAP', 
'ip protocol': 'tcp', 
'from port': '143', 
'to port': '143', 

} 

'ldap': { 
'name': 'LDAP', 
'ip protocol': 'tcp', 
'from port 389', 
'to port': '389', 

), 

'https': ( 
'name': 'HTTPS', 
'ip protocol': 'tcp', 
"from port': '443', 
'to port': '443', 

), 

'sntps': { 


'name': 'SMTPS', 

'ip protocol': 'tcp', 
"from port': '465', 
'to port': '465', 
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'imaps': ( 
'nane': 'IMAPS', 
'ip protocol': 'tcp', 
"from port': '993', 
'to port': '993', 

) 


'pop3s': { 
'name': 'POP3S', 
'ip protocol': 'tcp', 
'from port 995', 





*to port': 995"; 

D 

'ms sql': { 
'name': 'MS SQL', 
'ip protocol': 'tcp', 
'from port': '1433', 
'to port': '1433', 





'ip protocol': 'tcp', 
'from port': '3306', 
'to port': '3306', 


'name': 'RDP', 

'ip protocol': 'tcp', 
"from port': '3389', 
'to port': '3389', 


# Deprecation Notice: 

# 

# The setting FLAVOR EXTRA KEYS has been deprecated. 

* Please load extra spec metadata into the Glance Metadata Definition Catalog. 
# 

* The sample quota definitions can be found in: 

# «glance source >/etc/metadefs/compute - quota. json 

# 

# The metadata definition catalog supports CLI and API: 

*  Sglance —- os- image - api - version 2 help md- namespace - import 

4 $glance — manage db load metadefs «directory with definition files» 
# 
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# See Metadata Definitions on: http: //docs. openstack. org/developer/glance/ 


# Indicate to the Sahara data processing service whether or not 
# automatic floating IP allocation is in effect. If it is not 

# ineffect, the user will be prompted to choose a floating IP 

# pool for use in their cluster. False by default. You would want 
# to set this to True if you were running Nova Networking with 

# auto assign floating ip = True. 

+ SAHARA AUTO IP ALLOCATION ENABLED = False 


# The hash algorithm to use for authentication tokens. This must 
# match the hash algorithm that the identity server and the 

* auth token middleware are using. Allowed values are the 

* algorithns supported by Python's hashlib library. 

+ OPENSTACK TOKEN HASH ALGORITHM = 'nd5' 


# Hashing tokens from Keystone keeps the Horizon session data smaller, but it 
# doesn't work in some cases when using PKI tokens. Uncomment this value and 
# set it to False if using PKI tokens and there are 401 errors due to token 

# hashing. 

#OPENSTACK_TOKEN HASH ENABLED = True 


# AngularJS requires some settings to be made available to 

# the client side. Some settings are required by in- tree / built- in horizon 
# features. These settings must be added to REST_API_REQUIRED_SETTINGS in the 
# form of ['SETTING 1','SETTING 2'], etc. 

# 

# You may remove settings from this list for security purposes, but do so at 

# the risk of breaking a built - in horizon feature. These settings are required 
4 for horizon to function properly. Only remove them if you know what you 

# are doing. These settings may in the future be moved to be defined within 

# the enabled panel configuration. 

# You should not add settings to this list for out of tree extensions. 

# See: https: //wiki.openstack. org/wiki/Horizon/RESTAPI 

REST API REQUIRED SETTINGS = ['OPENSTACK HYPERVISOR FEATURES'] 


Additional settings can be made available to the client side for 
extensibility by specifying them in REST API ADDITIONAL SETTINGS 
1! Please use extreme caution as the settings are transferred via HTTP/S 


AE dt od 


3 


and are not encrypted on the browser. This is an experimental API and 

# may be deprecated in the future without notice. 

* REST API ADDITIONAL SETTINGS = [] 

井 DISALLOW IFRAME EMBED can be used to prevent Horizon from being embedded 

# within an iframe. Legacy browsers are still vulnerable to a Cross - Frame 

井 Scripting (XFS) vulnerability, so this option allows extra security hardening 
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# where iframes are not used in deployment. Default setting is True. 
# For more information see: 

# http://tinyurl.com/anticlickjack 

DISALLOW IFRAME EMBED = 
EOF 

# 重启 httpd 服务 
systemctl restart httpd 


True 


25.16 Openstack GUI 配置 


通过 浏览 器 访问 http: / /192. 168. 1. 120/dashboard/, 如 图 25-33 所 示 ,输入 用 户 密 码 
demo 或 admin 即 可 登录 访问 。 


| 192.168.1.120/dashboard/auth/login/ 


HUIS e IBM developerWor! Ọ inum [FER O FERAS ÜQ] meme NUS. 图 kubernetes sn 
openstack 
登录 
图 25-33  Openstack 管理 平台 登录 界面 
登录 Openstack Web 平台 ,查看 所 有 节点 的 概况 ,如 图 25-34 所 示 。 
an 概况 
eas 
o 使 用 情况 摘要 
ee 选择 一 段 时 间 来 查询 其 用 量 : 
sonens | M: 20170701 "t 2017076 amas 
snaa 运行 中 的 实 枫 : 2 AAF: 168 ië —HIBIEVCPU 小 时 数 : 12 23 i3 IBID HER: 114 
| | RH 
ze 
zem TABER mn ae "t Rust O 
Zu admin. 2 "GB 168 7223 
= East 


(a) Openstack Web 节 点 运行 概况 (1) 


图 25-34  Openstack Web 节点 运行 概况 
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云 主机 名称 aman P 地 址 ae an sz SM Gs naus naue ait 


(b) Openstack Web 节 点 运行 概况 (2) 


实例 详情 : centos1 


云 主机 概况 


基本 信息 


E 

ID 

ts 
Li 

已 创建 

从 创建 以 来 
主机 


ad94 4abb-ba55-b14adbfab388 
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(d) Openstack Web 节 点 运行 概况 (4) 


图 25-34 ( 续 ) 


查看 Openstack 云 主机 类 型 .默认 有 5 种 虚拟 机 创建 类 型 ,可 以 根据 实际 情况 修改 或 创 
建 虚拟 机 的 类 型 ,如 图 25-35 所 示 
查看 所 有 虚拟 机 占用 的 资源 及 每 个 节点 次 






源 情况 ,如 图 25-36 所 示 。 
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Q | tazza 
emae maoa mD 公有 TBE 
SMB 1GB 068 OMB 1 Twe 1 
512MB 10GB — 0GB OMB c13icebe-1210-4395-b8a9-s4b0e4 15cTa3 Tue 1 
4GB 40GB — 0GB 0MB 3 Twe 1 
8GB 80GB 068 0MB 4 Twe 1 
16GB — 160GB 068 OMB 5 Tue 1 


图 25-35  Openstack 虚拟 机 类 型 


所 有 虚拟 机 管理 器 


虚拟 机 管理 器 概述 


虚拟 内 核 使 用 情况 内 存 使 用 情况 本 地 磁盘 合用 
1 中 的 2 已 使 用 4GB 中 的 1.5GB 已 使 用 36GB 中 的 11GB 已 使 用 
虚拟 机 管理 程序 HEEN 
主机 名 字 类 型 虚拟 内 核 (已 使 用 ) IERI (Sit) 内 存 (已 使 用 ) 内 存 (总 计 ) 本 地 存储 (已 但 
node2 QEMU 2 1 15GB 4GB 11GB 


图 25-36 Openstack 所 有 虚拟 机 资源 情况 
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可 以 根据 企业 需要 , 自 定义 创建 多 台 虚 拟 机 ,创建 方法 如 图 25-37 所 示 。 








启动 云 主机 
Beo aise Ret mas munam 
D meea==nosese 
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zmes: 方案 详情 
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- mesit 168 
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zingum "© 
narad ， “项 目 限制 
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wass eu 
cios (12 7 MB) + #@mcpumm 
a 
(a) Openstack 创 建 虚拟 机 
mamin 
实例 MU : NT? 二 主机 名 | 
ziÜA ' =n sas ose ER 
c miae wean Pet RE @ m 可用 大 as mm — Aen 
@  contost.2 cimos mi mykoy @ we — rana E oms 
Ü centost-t cinos mi tiny mykey ag nova nma me TRS ose 
PLI 
(b) Openstack 创 建 虚拟 机 列表 
admin 
meen (05 
c mae weer — IP 地 址 RE au 8 ama 
B centos12 Cimos 192 168 1 141 m! tiny mykey Boe nova 
B centost-t cimos 192 168.1. 142 mt tiny mykey moe nova 
正在 要 示 2 项 


(c) Openstack 创 建 虚拟 机 运行 列表 (1) 
图 25-37 Openstack 创建 虚拟 机 方法 
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实例 详情 : centos1-2 


云 主 机 控制 台 日 志 


[ ub 1 





(e) Openstack 虚 拟 机 登录 界面 


图 25-37 (4D 


25.17 Openstack 核心 流程 


Openstack 由 不 同 的 组 件 组 成 ,通过 以 上 学 习 , 相 信 很 多 读者 对 于 学 习 Openstack 这 门 
技术 来 讲 , 最 难 之 处 莫 过 于 对 各 个 组 件 的 关系 和 功能 的 理解 ,以 及 整个 Openstack 创建 虚拟 
机 流程 。 如 图 25-38 所 示 为 Openstack 创建 一 台 虚 拟 主机 的 完整 流程 。 

如 图 25-38 所 示 ,Openstack 私有 云 创建 一 台 完 整 虚拟 机 ,详解 如 下 : 

a 使 用 者 或 客户 端 : Web 页 面 或 Horizon ,命令 行 nova 指令 
Nova API: 用 于 接收 和 处 理 客户 端 发 送 的 HTTP 请 求 。 

Nova scheduler; Nova 调度 宿主 机 的 服务 ,决定 虚拟 机 创建 的 各 节点 。 
Nova compute: Nova 核心 的 服务 ,负责 虚拟 机 的 生命 周期 的 管理 

Nova conductor; 数据 访问 权限 的 控制 操作 ,可 以 理解 为 数据 库 代理 服务 。 
Nova cert: 管 理 证 书 , 为 了 兼容 aws. 











DO D D D 
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HTTP call: 
使 用 usemame 和 password 请 求 验证 ， 
并 返回 token_id 和 serviceCatalog 


带 上 tokenjid 和 相关 参数 创建 虚拟 机 


Nova API 

















HTTP call: 
对 客户 端 请 求 的 token_id 进 行 验证 
RPC call: 
调度 请 求 
Nova scheduler 


RPC call: 
调度 完成 ,| 向 特定 计算 节点 发 起 创建 请 求 


RPC call: 创建 网 络 请 求 













Nova compute 


HTTP call HTTP call: 


块 存储 请 求 


图 25-38 Openstack 虚拟 机 创建 流程 





Glance 


a Nova vneproxy 和 consoleauth; 主要 提供 VNC K auth 认证 控制 台 。 

Openstack 组 件 不 同 的 模块 之 间 是 通过 HTTP 请 求 rest API 服务 ,同一 模块 不 同 组 件 
之 间 通 过 RPC 远程 调用 ,通过 RabbitMQ 消息 异步 通信 来 实现 。 

如 图 25-39 所 示 为 Openstack 所 有 组 件 架 构图 及 调用 步骤 ,详解 如 下 : 

(1) 客户 端 基于 用 户 名 和 密码 请 求 认 证 。 

(2) Keystone 查询 Keystone 数据 库 user 表 中 保存 的 user 相关 信息 ,包括 password 加 
密 后 的 hash 值 , 并 返回 一 个 token_id( 令 牌 ) 和 serviceCatalog. 

(3) 客户 端 带 上 Keystone 返回 的 token. id 和 创建 虚 机 的 相关 参数 ,post 请 求 Nova 
API 创建 虚拟 机 。 

(4) Nova API 接收 到 请 求 后 ,使 用 请 求 携带 的 token id 来 访问 该 APL. 以 验证 请 求 是 
否 有 效 。 

(5) Keystone 验证 通过 后 返回 更 新 后 的 认证 信息 。 

7 Nova API 检查 创建 虚拟 机 参数 是 否 有 效 与 合法 .检查 虚拟 机 name 是 否 符合 命名 规 
dE .flavor id 是 否 在 数据 库 中 存在 ,image_uuid 是 否 是 正确 的 uuid 格式 ,检查 instance, 
vcpu,ram 的 数量 是 否 超过 配额 。 

(7) 当 所 有 传 参 都 有 效 合 法 时 ,更 新 Nova 数据 库 , 新 建 一 条 instance 记录 ,vm_states 
设 为 BUILDING ,task_state 设 为 SCHEDULING. 
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图 25-39 Openstack 所 有 组 件 调用 步骤 


(8) Nova API 远 程 调用 传递 请 求 ,将 参数 给 Nova scheduler, 把 消息 “请 给 我 创建 一 台 
虚拟 机 ” 丢 到 MQ 消息 队列 ,然后 定期 查询 虚 机 的 状态 。 

(9) Nova scheduler 从 MQ 消息 队列 中 获取 到 这 条 消息 。 

(10) Nova scheduler 访问 Nova 数据 库 , 通 过 调度 算法 ,过 滤 出 一 些 合适 的 计算 节点 ， 
然后 进行 排序 。 

(11) 更 新 虚拟 机 节点 信息 ,返回 一 个 最 优 节点 ID 给 Nova scheduler。 

(12) Nova scheduler 选 定 host 之 后 ,通过 rpc 调用 Nova compute 服务 ,把 “创建 虚 机 
请 求 ” 消 息 发 到 MQ 消息 队列 。 
(13) Nova compute 收 到 创建 虚拟 机 请 求 的 消息 ,通过 定时 任务 ,定期 从 数据 库 中 查找 
到 运行 在 该 节点 上 的 所 有 虚拟 机 信息 ,统计 得 到 空闲 内 存 大 小 和 空闲 磁盘 大 小 ,然后 更 新 数 
据 库 compute_node 信息 ,以 保证 调度 的 准确 性 。 
(14) Nova compute 通过 rpc 查询 Nova 数据 库 中 虚拟 机 的 信息 :如 主机 模板 和 ID。 
(15) Nova conductor 从 MQ 消息 队列 中 拿 到 请 求 查询 数据 库 。 
(16) Nova conductor 查询 Nova 数据 库 。 
(17) 数据 库 返 回 虚 机 信息 。 
(18) Nova compute 从 MQ 消息 队列 中 获取 信息 。 
(19) Nova compute 请 求 Glance 的 rest API,. 下 载 所 需要 的 镜像 ,一 般 是 qcow2, 可 以 
自 定 义 创 建 镜像 。 
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(20) Glance API 会 验证 请 求 的 token 的 有 效 性 。 

(21) Glance API 返回 镜像 信息 给 Nova compute. 

(22) Nova compute 请 求 Neutron API 配置 网 络 , 获 取 虚 机 IP 地 址 等 信息 。 

(23) 验证 token 的 有 效 性 。 

(24) Neutron 返回 网 络 信息 。 

(25) —(27) 步骤 同 Glance, Neutron 验证 token 返回 块 设备 信息 。 

(28) 根据 获取 的 虚拟 机 信息 ,生成 KVM 所 需 的 . xml 文件 , 写 入 libvirt. xml 文件 , 然 
调用 libvirt driver 去 使 用 libvirt. xml 文件 启动 虚拟 机 。 





Hm 











